로그인

브레이즈

데이터 마케팅에서 A/B 테스트란 무엇일까?🧪

Team MAXONOMY ・ 2024.06.13

데이터 마케팅에서 A/B 테스트란 무엇일까?🧪

마케팅 업무를 하다 보면 디테일한 선택이 고민된 적이 있을 것입니다. 예를 들어 푸시 메시지에 느낌표를 붙여야 할지, 메시지가 좀 더 간결하고 짧아야 할지, 웹사이트 배너에는 어떤 색이 적절할지 등이 있죠.


누군가에선 별로 중요해보지 않을 수 있지만 이런 디테일한 요소 하나로 마케팅 캠페인의 성공과 실패가 나뉘기도 합니다. 문제는 이런 요소를 열심히 고민하다고 해서 확실한 답을 찾을 수 없다는 것입니다. 어떤 선택지가 정답일지 알 수 없다는 것이죠. 그렇다면 우리가 할 수 있는 것이 없는 것일까요?


아니요! 그렇지 않습니다. 바로 테스트를 진행하는 것입니다. 우리에게 잘 알려진 A/B테스트와 다변량 테스트를 진행하여 정답을 찾아갈 수 있습니다.







데이터 마케팅에서 말하는 테스트란? (AB 테스트란?)


데이터 마케팅, CRM, 그로스 분야에서 말하는 테스트란, 보통 메시지 캠페인을 다양하게 변형하고 비교하는 것을 의미합니다. 메시지 문구, 색상, GIF 사용 유무와 같은 사소한 요소부터 심지어 제공 혜택 자체에서 차별을 두고 테스트를 할 수도 있습니다. 그리고 어떤 케이스가 반응이 가장 좋은지 데이터를 얻을 수 있습니다. 이를 통해 전체 고객에게 캠페인을 실제로 실시하기 이전에 가장 효과적인 구성을 알아낼 수 있습니다.





테스트에는 어떤 종류가 있나요?


A/B테스트, 다변량 테스트, 분할 테스트, 사용자 테스트, 설문 조사 등 여러 가지 유형의 테스트가 있으며, 이들 모두 동일한 목표를 가지고 있습니다. 바로 캠페인을 본격적으로 실행하기 이전에 유저에 대한 데이터 샘플을 먼저 채취하는 것입니다. CRM 분야에서는 A/B테스트와 다변량 테스트를 주로 다루고 있습니다.


  • A/B 테스트: 굉장히 직관적인 이름인데요. 말 그대로 캠페인의 "A 버전"과 "B 버전"을 테스트하는 것입니다. 이 테스트의 가장 큰 강점은 바로 심플함입니다. 하나의 캠페인에 대해 하나의 변수를 테스트할 수 있습니다. 예를 들어, "지금 구매하시면 50% 할인!"이라고 적힌 이메일 제목과 "오늘 딱 하루만 반값"이라고 적힌 이메일을 동시에 발송하고 어떤 쪽이 반응이 좋은지 확인해볼 수 있습니다.
  • 다변량 테스트(MVT : multivariate test): 다변량이란 "여러 개의 변수"를 의미합니다. A/B 테스트가 하나의 변수를 테스트하는 반면, 다변량 테스트는 여러 변수가 테스트합니다. 예를 들어, 이메일 제목과 CTA 버튼의 컬러가 어떤 영향을 미치는지 테스트한다면, 아래와 같이 네 가지의 이메일 케이스가 나올 것 입니다.




A/B 테스트가 캠페인의 개별적인 측면에 대한 예/아니오를 알 수 있는 반면, 다변량 테스트는 보다 다양한 케이스를 테스트할 수 있으며, 각 변수들이 어떻게 상호 작용하는지까지 알 수 있습니다. A/B테스트에서는 반응이 좋지 않았던 이메일 제목과 CTR컬러였는데, 다변량 테스트를 해보니 둘 사이에 의외의 시너지 효과가 있는 걸 확인할 수도 있겠죠.






얼마나 많은 유저에게 테스트해야하나요?


너무 많은 대상에게 테스트를 한다면, 테스트를 진행하는 의미가 없겠죠. 반대로 너무 적은 대상에게 테스트를 하면 신뢰도가 낮은 데이터를 얻을 가능성이 높습니다. 그래서 적절한 양의 데이터를 수집하는 것이 중요합니다. 일반적으론 10%가 적절한 수치입니다. A/B테스트를 한다면 메시지 A를 전체 사용자의 10%에게 보내고 메시지 B를 또 다른 10%에게 보내는 것을 권고합니다. 그런 다음 메시지 A의 반응이 더 좋으면, 나머지 80%의 사용자에게 메시지 A를 보내는 것이죠. 전체 유저의 10%는 통계적으로 유의미한 결과를 도출하는 것으로 알려져있지만 항상 그런 것은 아닙니다. 상황에 따라서는 더 깊은 고급 통계 방법을 사용해야할 수 있습니다.


다변량 테스트는 A/B 테스트에 비해 더 많은 테스트 트래픽량을 요구합니다. 기본적인 트래픽이 매우 많은 캠페인의 경우, 다변량 테스트를 시도해볼 수 있겠지만, 기본적으로 많은 트래픽을 테스트에 사용하기 때문에 최적화된 메시지를 받은 유저가 적어진다는 점은 감안해야 합니다.






적절한 테스트 주기는?


메시지 캠페인이 실시되는 한, 테스트는 계속 이루어지는 것이 좋습니다. 실제로, 지속적으로 캠페인 성공하는 기업은 지속적인 테스트를 진행하는 것으로 나타났습니다. 물론 일시적인 테스트를 진행하는 것도 가치가 있겠지만, 정기적으로 테스트를 실시하고 데이터를 지속적으로 확보한다면, 어떤 요소가 효과적이고, 앞으로 무엇을 더 테스트해봐야 하는지 꽤 잘 파악하게 될 것입니다.






실제 테스트는 어떻게 할 수 있나요?


Braze와 같은 CRM솔루션을 이용하면 손쉽게 테스트를 진행할 수 있습니다. Braze의 Canvas는 전체 캠페인을 한 눈에 볼 수 있게 해줍니다. 이를 통해 고객 접촉에 필요한 다양한 단계와 메시지를 쉽게 확인할 수 있습니다. 이러한 인터페이스는 테스트를 더욱 쉽게 만들어, 실시간으로 개선점을 찾을 수 있도록 도와주죠. 여러 구성원과 함께 복잡한 코딩 없이도 캠페인과 테스트를 관리할 수 있습니다. 다음은 일반적으로 A/B테스트를 진행하는 방식입니다.


  • 마케팅 캠페인 생성하기 (ex. 이메일 캠페인을 만들기)
  • 해당 캠페인 내에서 변형 케이스 만들기 (ex. 파란색 CTA이 있는 이메일과 빨간색 CTA이 있는 이메일을 각각 만들기)
  • 캠페인 일정 설정하기 (ex. 내일 오전 9시 발송)
  • 캠페인 타겟 세그먼트 설정
  • 해당 세그먼트 내에서 테스트 대상 분류하기 (ex. 10%에게는 파란 CTA, 다른 10%에게는 빨간 CTA 발송)
  • 캠페인 KPI 설정 (ex. 전환율, 클릭률 등 더 좋은 케이스를 판별하기 위한 기준 설정)
  • 최종 검토, 실행, 결과 확인





마치며


A/B 테스트(혹은 다변량 테스트)를 고객의 마음을 이해하는 데 정말 큰 도움이 됩니다. 얻을 수 있는 가치에 비해 실행하기도 쉽죠. 단순히 직관에 의존하는 마케팅 방식에서 벗어나, 꼭 여러분의 마케팅에도 테스트를 접목해보시길 바랍니다.






콘텐츠 더 읽어보기

logo

팀맥소노미

YOUR DIGITAL MARKETING HERO

비즈니스 성장을 위한 최적의 솔루션과 무료 데모 시연, 활용 시나리오를 제안 받아보세요

관련 글 보기

위치 기반 개인화 메시징

위치 기반 개인화 메시징

사용자의 위치를 개인화하기

[2019년 행사 뒤돌아보기] Appsflyer x Braze x CJ올리브네트웍스 <ABC of Marketing Growth>

[2019년 행사 뒤돌아보기] Appsflyer x Braze x CJ올리브네트웍스 <ABC of Marketing Growth>

앱 마케터들은 새로운 사용자를 유치하기 위해 많은 고민과 노력을 합니다. 이러한 노력 끝에 신규 사용자를 유치하는데 성공한다 하여도 원하는 반응을 이끌어 내기란 여간 쉽지 않습니다.​Global No.1 모바일마케팅자동화(MMA) 솔루션 Braze의 한국 공식 파트너사인 CJ올리브네트웍스는 모바일 어트리뷰션 강자 Appsflyer와 함께 지난 6월 20일 'ABC of Marketing Growth'라는 주제로 디지털마케팅의 ABC, 즉 마케팅의 정석을 짚어보는 시간을 가졌습니다.​그런데 여기서 잠깐! 세미나 제목의 ABC가 무엇을 의미하는지 혹시 알아차리셨나요? 기본, 정석이라는 의미를 담은 ABC이기도 하지만 실은 세미나 주최사인&nbsp;Appsflyer x&nbsp;Braze x&nbsp;CJ올리브네트웍스&nbsp;의 약자이기도 하답니다.​본 세미나는 크게 두 가지 주제로 나누어 진행 되었으며, 생생한 사례를 기반으로 모바일 어트리뷰션과 모바일 인게이지먼트에 대해 알아 볼 수 있었습니다. 또한 '시공간 없는 요즘 영어'로 핫한 의 김수용 리더님과 전자상거래 시장과 트렌드를 선도하는 의 김소영 과장님이 각각 어트리뷰션툴과 MMA 솔루션 도입 성공 사례를 공유해 주셔서 세미나 참석자들에게 큰 호응을 받았습니다.앱 비즈니스 성장을 위한 초석첫 번째 세션에서는 Appsflyer의 CSM팀을 이끌고 계신 정대훈 팀장님이 '모바일 어트리뷰션 데이터 설계와 활용'을 주제로 발표를 진행해주셨습니다.비즈니스 성장을 위해 빼놓을 수 없는 부분은 바로 광고 마케팅입니다. 여기서 마케터들의 고민이 시작 됩니다. 과연 어떤 매체의 광고가 원하는 성과를 이끌어내는데 가장 효과적일까요? 어트리뷰션 솔루션은 사용자가 어떤 마케팅 터치를 통해 유입되었는지 트래킹하고, 이를 기록합니다. 또한 유입 이후 사용자의 액션을 감지·분석하여 마케팅 통찰력을 제공합니다. 이렇게 수집된 데이터는 마케팅 ROI를 극대화 하고 향후 타겟마케팅을 할 때 유용하게 사용될 것입니다.​하지만 실제로 어트리뷰션 툴을 사용해보지 않은 사람들은 감을 잡기 어려웠을텐데요, 정대훈 팀장님은 예시를 통해 '리치'한 데이터 설계 방법을 공유하고, 어떤 인앱 이벤트를 트래킹할 것인지에 대해 이야기 해주셨습니다.모바일 어트리뷰션 분석의 역할과 데이터 수집 방법, 그리고 활용 방법까지 알찬 내용으로 가득한 시간이었습니다.이어서 의 마케팅 매니저 김수용 리더님과 대담하는 시간을 가졌습니다. 김수용 리더님은 마케팅 과정에서 겪은 여러 실패 경험을 이야기해 주셨는데요, 실패에서 그치는 것이 아니라 해당 사례를 끊임없이 연구하고 팀원들과 다양한 시도를 한 것이 결국 사업에 도움이 되었음을 강조하였습니다. 현재는 어트리뷰션 툴을 도입하여 어떤 측면에서 도움을 받고 있는지 리얼한 경험담도 들을 수 있었습니다.고객생명주기에 따른 마케팅 전략두 번째 주제로 CJ올리브네트웍스의 정기수 과장님이 인게이지먼트를 강화하기 위한 'MMA 솔루션 소개 및 활용사례'를 발표해 주셨습니다.성공적인 앱 마케팅을 위해서는 신규 사용자 유입도 중요하지만 그들로 하여금 구매를 이끌어 내고, 이후 충성 고객으로 만들 수 있는 방법까지 고민할 필요가 있습니다. 이러한 고민에 도움이 될 수 있도록 해당 발표에서는 MMA 솔루션을 통한 극적인 LTV 향상 전략에 대한 주제를 다루었습니다. LTV(Lifetime Value)란 고객이 모바일 앱에 머무는 동안 창출한 가치로 앱의 성공을 평가하는데 있어 중요한 기준입니다. 이 수치를 극대화하기 위하여 우리는 고객의 라이프사이클과 리텐션에 주목해야 하는데요, 목적에 따라 분류된 사용자 그룹(Segment)의 취향을 저격할 수 있는 캠페인을 전개하는 것이 핵심이라 할 수 있습니다.​정기수 과장님은 생생한 사례를 통해 MMA 솔루션의 필요성에 대해 이야기하고, 더 나아가 어트리뷰션툴과 시너지 효과를 일으킬 수 있는 시나리오까지 시연해주셨습니다.다양한 마케팅 툴이 적재적소에 활용된다면 마케팅 ROI를 극대화 하는데 도움을 줄 것입니다.다음은 의 김소영 과장님이 '고객을 귀찮게 하지 않는 CRM'이라는 주제로 발표해주셨습니다. 제목부터 굉장히 흥미진진 했는데요, MMA솔루션인 Braze의 도입 배경과 캠페인 설계 사례를 공유해주셨습니다. 하나의 예로 '제주도'라는 키워드를 검색한 고객에게 Push 메시지를 발송할 경우, 항공/숙박 구매 여부에 따라 서로 다른 메시지를 보낼 수 있다고 합니다. 실제로 이는 구매전환율 상승으로 연결되었다고 합니다. 이미 항공권을 구매한 사용자라면 항공 프로모션 정보 보다 숙박, 렌터카에 대한 할인정보가 더욱 유용하기 때문입니다.이렇게 네 분의 연사의 발표를 모두 마치고 Q&amp;A 세션을 갖기도 하였습니다. 참가자들의 적극적인 질문 공세에 현장이 후끈 달아오르는 분위기였는데요, 연사님들의 다양하고 생생한 마케팅 경험담을 들을 수 있어 정말 유익한 시간이었습니다.Appsflyer x&nbsp;Braze x&nbsp;CJ올리브네트웍스의 환상적인 콜라보가 인상깊었던 앞으로도 다양한 이벤트로 여러분을 찾아 뵐 예정이니 많은 관심 부탁드립니다. 감사합니다!

Canvas Flow로 고객이 만족하는 여정 설계하기👊

Canvas Flow로 고객이 만족하는 여정 설계하기👊

&nbsp;오늘날의&nbsp;소비자는&nbsp;모든&nbsp;기기,&nbsp;플랫폼&nbsp;또는&nbsp;채널에서&nbsp;자신이&nbsp;애용하는&nbsp;브랜드와&nbsp;상호&nbsp;작용하며&nbsp;자신과&nbsp;관련성&nbsp;있는&nbsp;경험을&nbsp;빠르고&nbsp;원활하게&nbsp;제공받기를&nbsp;기대하고&nbsp;있습니다.&nbsp;마케터들&nbsp;역시&nbsp;이러한&nbsp;경험&nbsp;제공이&nbsp;무엇보다&nbsp;중요하다는&nbsp;것은&nbsp;인지하고&nbsp;있으나,&nbsp;아직까지도&nbsp;많은&nbsp;마케터들이&nbsp;이를&nbsp;실행할&nbsp;수&nbsp;있는&nbsp;적절한&nbsp;도구가&nbsp;없어&nbsp;창의적인&nbsp;아이디어를&nbsp;실현하고&nbsp;빠르게&nbsp;변화하는&nbsp;고객의&nbsp;니즈를&nbsp;충족시키는&nbsp;데&nbsp;어려움을&nbsp;겪고&nbsp;있습니다.소비자가&nbsp;브랜드에&nbsp;기대하는&nbsp;것과&nbsp;대부분의&nbsp;브랜드가&nbsp;소비자에게&nbsp;제공하는&nbsp;것&nbsp;사이의&nbsp;갭(gap)은&nbsp;생각보다&nbsp;크며,&nbsp;이를&nbsp;해결하지&nbsp;못하면&nbsp;유저&nbsp;리텐션&nbsp;및&nbsp;브랜드&nbsp;수익을&nbsp;약화시킬&nbsp;수&nbsp;있습니다.Braze(브레이즈)의&nbsp;캔버스&nbsp;플로우(Canvas&nbsp;Flow)&nbsp;여정&nbsp;오케스트레이션&nbsp;툴은&nbsp;이러한&nbsp;갭을&nbsp;해소하고,&nbsp;현재와&nbsp;미래의&nbsp;고객&nbsp;만족을&nbsp;성공적으로&nbsp;달성할&nbsp;수&nbsp;있도록&nbsp;도와주는&nbsp;최적의&nbsp;도구입니다.&nbsp;Braze(브레이즈)의&nbsp;캔버스&nbsp;플로우를&nbsp;사용하면,&nbsp;마케팅팀,&nbsp;그로스팀,&nbsp;그리고&nbsp;인게이지먼트팀은&nbsp;다음과&nbsp;같은&nbsp;작업을&nbsp;쉽게&nbsp;수행할&nbsp;수&nbsp;있습니다.&nbsp;창의력을&nbsp;발휘해보세요.단일 드래그 앤 드롭(drag-and-drop) 인터페이스를 통해 고객 여정을 디자인하고, 시각화하며, 실행할 수 있습니다. 간단한 넛지를 주는 것부터 복잡한 크로스 채널 플로우까지 모두 가능합니다.그 어느 때보다 빠르게 캠페인을 만들 수 있습니다.&nbsp;Braze(브레이즈)가 제공하는 직관적인 드래그 앤 드롭 유저 인터페이스는, 마케터가 기술팀의 지원 없이도 크로스 채널 메시징 플로우를 신속하게 생성할 수 있도록 지원합니다.캠페인을 한 곳에서 통합 관리할 수 있습니다.&nbsp;Braze(브레이즈)에서는 고객 여정 생성, 메시지 구성, 테스트 및 분석의 통합 관리가 가능하기 때문에, 마케터들이 다양한 플랫폼으로 전환을 해야할 필요가 없습니다.브랜드의 성장에 맞춰 고객 커뮤니케이션을 확장하십시오.&nbsp;Braze(브레이즈)는 기업이 제품, 사업부, 서비스 및 고객의 성장에 따라 안정적으로 모든 규모의 캠페인 및 고객 인게이지먼트 프로그램을 처리할 수 있도록 설계되었습니다.여러 채널에서 실시간으로 고객 프로필을 생성합니다.&nbsp;Braze(브레이즈)는 모든 관련 채널, 플랫폼 및 기기에서 알려진 사용자와 익명의 사용자를 식별하고, 이들을 참여시킬 수 있는 유연성을 제공합니다.모든 주요 메시징 채널에서 고객 참여를 유도합니다.&nbsp;Braze(브레이즈)는 이메일, SMS, 인앱메시징, 브라우저 내 메시징, 웹 및 모바일 푸시 알림, OTT 미디어 플랫폼 메시지, 소셜 채널, 다이렉트 메일을 포함한 제품 내/외 메시징 채널을 원활하게 결합함으로써, 마케터들이 진정한 크로스 채널 접근 방식을 실행할 수 있도록 지원합니다.간편하게 제한 설정을 조정할 수 있습니다.&nbsp;내부 서버에 실수로 과부하가 걸리지 않도록, Braze(브레이즈)는 브랜드가 설계한 여정에 참여하여 설정된 시간에 커뮤니케이션을 받는 유저의 수를 기업에서 제어할 수 있도록 합니다.&nbsp;&nbsp;&nbsp;&nbsp;고객에게&nbsp;적용하세요.최신 선호도, 행동 및 채널 간 상호 작용을 기반으로 각 고객의 경험을 실시간으로 맞춤화할 수 있습니다.개인화된 여정의 경로를 다양화하여 고객과의 1:1 관계를 개선할 수 있습니다.&nbsp;Braze(브레이즈)는 유저의 고유 속성과 행동에 기초하여 유저에게 맞는 다양한 여정의 경로를 안내하도록 지원합니다. 이러한 유연성을 통해 마케터들은 고객의 전체 여정을 개인화하여 고도화된 맞춤형 경험을 구축할 수 있습니다.진정한 실시간 인게이지먼트가 가능해집니다.&nbsp;배치 프로세싱 데이터 아키텍처를 기반으로 구축된 솔루션과 달리, Braze(브레이즈)는 마케터가 대기 시간 없이 실시간으로 고객의 선호도, 행동 및 예측 분석을 포착하고 업데이트하며 즉각적인 조치를 취할 수 있도록 지원합니다.Dynamic Audience Sync를 사용하여 적절한 유저에게 광고가 전달되는지 확인할 수 있습니다.&nbsp;광고 네트워크에 단순 목록 내보내기를 제공하는 다른 도구와 달리, Braze(브레이즈)는 마케터가 Google 및 Facebook 광고 프로그램과 원활하게 연결할 수 있도록 합니다. 이를 통해 통합적인 고객 여정의 일환으로 광고 캠페인의 오디언스를 동적으로 추가하거나 제거할 수 있으며, 충성 고객이 될 가능성이 높은 신규 유저를 보다 효율적으로 확보하기 위해 이와 유사한 오디언스를 생성할 수 있습니다.빈도 설정을 사용하여 적절한 양의 메시지만 발송합니다.&nbsp;일부 도구를 자칫 잘못 활용하면 고객에게 과도한 양의 메시지가 발송되게 되는데, Braze(브레이즈)는 맞춤형 비즈니스 규칙에 따라 캠페인 및 고객 여정 전반에 걸쳐 고객이 받을 수 있는 메시지 수를 제한할 수 있는 기능을 제공하기 때문에 안심할 수 있습니다.시간 설정을 통해 고객이 자고 있을 때(또는 일할 때) 방해하지 않고 메시지를 전달할 수 있습니다.&nbsp;강력한 고객 관계는 고객의 니즈와 요구에 대한 존중을 기반으로 합니다. 이것이 바로 Braze(브레이즈)가 브랜드에 특정 시간 동안 메시지가 전송되지 않도록 하는 기능을 제공하는 이유입니다. 여러분이 왜 새벽 4시에 고객에게 SMS를 발송했는지에 대한 해명과 사과를 해야하는 일은 없을 것입니다.중요한 전환(Conversion)을 모두 추적합니다.&nbsp;많은 플랫폼에서는 여정 단계별 전환율을 제한하므로, 마케팅 전략이 고객 여정의 전반에 미치는 영향을 실제로 파악하기 어렵습니다. 반면 Braze(브레이즈)를 사용하면 마케터가 세션 시작, 구매 및 맞춤 이벤트 데이터를 기반으로 한 여정 당 여러 개의 전환 이벤트를 추적할 수 있으므로, 메시지가 어떻게 고객의 행동을 유도하는지에 대한 이해를 높일 수 있습니다.더 이상 전환된 고객을 여정에서 제외하는 데 시간을 낭비하지 않아도 됩니다.&nbsp;대부분의 고객 인게이지먼트 도구에서는 마케터들이 전환된 고객을 수동으로 여정에서 제외해야 합니다. 그러나 Braze(브레이즈)에서는, 글로벌 이탈 기준을 통해 마케터가 고객이 특정 전환 이벤트를 완료하는 즉시 자동으로 여정에서 제외되도록 설정할 수 있습니다.&nbsp;&nbsp;&nbsp;성과를&nbsp;최적화하세요.고객 여정의 모든 부분을 지속적으로 테스트하고 반복 및 최적화하여 효과가 있는 항목을 찾고, 전략을 세밀하게 조정하여 결과를 개선합니다.Braze(브레이즈)의 통합적인 여정 테스트를 사용하여 모든 고객 메시징 흐름을 최적화합니다.&nbsp;다른 플랫폼에서는 제한된 테스트 기능만 제공하는 반면, Braze(브레이즈)는 마케터가 전체 여정 레벨, 여정 내 모든 레벨, 그리고 각 메시지 레벨에서 테스트할 수 있도록 지원합니다. 타이밍, 인게이지먼트 채널, 사용 중인 메시지 수, 제목, 메시지 문구, 메시지 크리에이티브 등을 포함한 주요 변수의 영향을 이해할 수 있습니다.Braze(브레이즈) Global Control Groups을 활용하여 컨트롤 그룹 세그먼트를 수동으로 구축하고 유지 및 관리하는데 소요되는 시간을 줄이면서 ROI를 확인해 보세요.&nbsp;메시지 수신 그룹에서 개별 사용자를 쉽게 제외하여, 마케팅 전략의 영향력과 ROI를 빠르고 정확하게 평가할 수 있습니다.Braze(브레이즈) Intelligent Channel을 사용하여 여정의 각 단계에서 사용 가능한 최적의 채널을 파악합니다.&nbsp;어떤 채널이 가장 효과적인지를 수동으로 테스트하는 대신, Braze(브레이즈)는 각 유저를 대상으로 가장 높은 인게이지먼트 성과를 보인 채널을 자동으로 매칭하여, 마케터의 편견과 추측을 제거하고 객관적인 설계가 가능해집니다.&nbsp;Braze(브레이즈) Intelligent Selection을 사용하여 여정의 결과를 자동으로 개선합니다.&nbsp;어떤 여정의 변형이 가장 효과적인지 수동으로 테스트하는 대신, Braze(브레이즈)는 반복 여정의 성능을 자동으로 모니터링하고 각 메시지 변형을 수신하는 사용자의 비율을 조정할 수 있습니다. 이렇게 하면 최고의 성과를 도출한 여정이 더 많은 유저에게 발송되기 때문에, 팀에서 별도의 추가 작업이나 검토 없이도 마케팅 프로그램의 성과를 높일 수 있습니다.Braze(브레이즈) Intelligent Timing을 사용하여 고객의 참여 가능성이 가장 높을 때 고객에게 도달할 수 있습니다.&nbsp;Intelligent Timing은 각 고객의 상호 작용에 대한 데이터와 예측 기술을 사용하여 메시징 채널 전반에 걸쳐 개별 고객의 잠재적인 참여도가 가장 높은 순간을 식별합니다. 그런 다음 각 고객이 메시지를 확인하고 참여할 가능성이 가장 높은 시간에 도달하도록 자동으로 메시지를 배포합니다.&nbsp;🚀🚀🚀&nbsp;&nbsp;&nbsp;Braze(브레이즈)&nbsp;캔버스&nbsp;플로우를&nbsp;사용하면&nbsp;하나의&nbsp;플랫폼에서&nbsp;메시지를&nbsp;작성하고,&nbsp;여정을&nbsp;조정하고,&nbsp;다양한&nbsp;테스트를&nbsp;실행할&nbsp;수&nbsp;있습니다.&nbsp;캔버스&nbsp;플로우를&nbsp;활용하여&nbsp;수익을&nbsp;창출한&nbsp;여정&nbsp;설계&nbsp;사례가&nbsp;궁금하시다면,&nbsp;미국의&nbsp;EverWash가&nbsp;캔버스&nbsp;플로우를&nbsp;통해&nbsp;37%의&nbsp;전환율을&nbsp;달성한&nbsp;실제&nbsp;사례를&nbsp;확인해보세요.&nbsp;&nbsp;

Content Cards 사례 : LGBTQ+ Social Network Grindr의 Pride 행사

Content Cards 사례 : LGBTQ+ Social Network Grindr의 Pride 행사

Braze 콘텐츠 카드 활용하기

마케팅 업무를 하다 보면 디테일한 선택이 고민된 적이 있을 것입니다. 예를 들어 푸시 메시지에 느낌표를 붙여야 할지, 메시지가 좀 더 간결하고 짧아야 할지, 웹사이트 배너에는 어떤 색이 적절할지 등이 있죠.


누군가에선 별로 중요해보지 않을 수 있지만 이런 디테일한 요소 하나로 마케팅 캠페인의 성공과 실패가 나뉘기도 합니다. 문제는 이런 요소를 열심히 고민하다고 해서 확실한 답을 찾을 수 없다는 것입니다. 어떤 선택지가 정답일지 알 수 없다는 것이죠. 그렇다면 우리가 할 수 있는 것이 없는 것일까요? 


아니요! 그렇지 않습니다. 바로 테스트를 진행하는 것입니다. 우리에게 잘 알려진 A/B테스트와 다변량 테스트를 진행하여 정답을 찾아갈 수 있습니다.







데이터 마케팅에서 말하는 테스트란? (AB 테스트란?)


데이터 마케팅, CRM, 그로스 분야에서 말하는 테스트란, 보통 메시지 캠페인을 다양하게 변형하고 비교하는 것을 의미합니다. 메시지 문구, 색상, GIF 사용 유무와 같은 사소한 요소부터 심지어 제공 혜택 자체에서 차별을 두고 테스트를 할 수도 있습니다. 그리고 어떤 케이스가 반응이 가장 좋은지 데이터를 얻을 수 있습니다. 이를 통해 전체 고객에게 캠페인을 실제로 실시하기 이전에 가장 효과적인 구성을 알아낼 수 있습니다.

 





 

테스트에는 어떤 종류가 있나요?


A/B테스트, 다변량 테스트, 분할 테스트, 사용자 테스트, 설문 조사 등 여러 가지 유형의 테스트가 있으며, 이들 모두 동일한 목표를 가지고 있습니다. 바로 캠페인을 본격적으로 실행하기 이전에 유저에 대한 데이터 샘플을 먼저 채취하는 것입니다. CRM 분야에서는 A/B테스트와 다변량 테스트를 주로 다루고 있습니다.





A/B 테스트가 캠페인의 개별적인 측면에 대한 예/아니오를 알 수 있는 반면, 다변량 테스트는 보다 다양한 케이스를 테스트할 수 있으며, 각 변수들이 어떻게 상호 작용하는지까지 알 수 있습니다. A/B테스트에서는 반응이 좋지 않았던 이메일 제목과 CTR컬러였는데, 다변량 테스트를 해보니 둘 사이에 의외의 시너지 효과가 있는 걸 확인할 수도 있겠죠.






얼마나 많은 유저에게 테스트해야하나요?


너무 많은 대상에게 테스트를 한다면, 테스트를 진행하는 의미가 없겠죠. 반대로 너무 적은 대상에게 테스트를 하면 신뢰도가 낮은 데이터를 얻을 가능성이 높습니다. 그래서 적절한 양의 데이터를 수집하는 것이 중요합니다. 일반적으론 10%가 적절한 수치입니다. A/B테스트를 한다면 메시지 A를 전체 사용자의 10%에게 보내고 메시지 B를 또 다른 10%에게 보내는 것을 권고합니다. 그런 다음 메시지 A의 반응이 더 좋으면, 나머지 80%의 사용자에게 메시지 A를 보내는 것이죠. 전체 유저의 10%는 통계적으로 유의미한 결과를 도출하는 것으로 알려져있지만 항상 그런 것은 아닙니다. 상황에 따라서는 더 깊은 고급 통계 방법을 사용해야할 수 있습니다.


다변량 테스트는 A/B 테스트에 비해 더 많은 테스트 트래픽량을 요구합니다. 기본적인 트래픽이 매우 많은 캠페인의 경우, 다변량 테스트를 시도해볼 수 있겠지만, 기본적으로 많은 트래픽을 테스트에 사용하기 때문에 최적화된 메시지를 받은 유저가 적어진다는 점은 감안해야 합니다.






적절한 테스트 주기는?


메시지 캠페인이 실시되는 한, 테스트는 계속 이루어지는 것이 좋습니다. 실제로, 지속적으로 캠페인 성공하는 기업은 지속적인 테스트를 진행하는 것으로 나타났습니다. 물론 일시적인 테스트를 진행하는 것도 가치가 있겠지만, 정기적으로 테스트를 실시하고 데이터를 지속적으로 확보한다면, 어떤 요소가 효과적이고, 앞으로 무엇을 더 테스트해봐야 하는지 꽤 잘 파악하게 될 것입니다.






실제 테스트는 어떻게 할 수 있나요?


Braze와 같은 CRM솔루션을 이용하면 손쉽게 테스트를 진행할 수 있습니다. Braze의 Canvas는 전체 캠페인을 한 눈에 볼 수 있게 해줍니다. 이를 통해 고객 접촉에 필요한 다양한 단계와 메시지를 쉽게 확인할 수 있습니다. 이러한 인터페이스는 테스트를 더욱 쉽게 만들어, 실시간으로 개선점을 찾을 수 있도록 도와주죠. 여러 구성원과 함께 복잡한 코딩 없이도 캠페인과 테스트를 관리할 수 있습니다. 다음은 일반적으로 A/B테스트를 진행하는 방식입니다.


 





 

마치며


A/B 테스트(혹은 다변량 테스트)를 고객의 마음을 이해하는 데 정말 큰 도움이 됩니다. 얻을 수 있는 가치에 비해 실행하기도 쉽죠. 단순히 직관에 의존하는 마케팅 방식에서 벗어나, 꼭 여러분의 마케팅에도 테스트를 접목해보시길 바랍니다.






콘텐츠 더 읽어보기

브레이즈, A/B테스트