로그인

브레이즈

Braze Predictive Suite의 예측 정확도 측정하기

Team MAXONOMY ・ 2022.02.07

Braze Predictive Suite의 예측 정확도 측정하기

인공지능(AI)과 머신러닝(ML)이 화려하게 등장했지만, 여전히 대부분의 사회에서는 향후 AI가 우리 모두를 파괴하는 인간형 로봇으로 이어지게 될지 여부에 대해서 논쟁 중입니다. 하지만 다행히도 마케팅의 영역에서는, 마케팅 담당자가 업무를 더 잘 할 수 있도록 도와주는 복잡한 알고리즘에 불과합니다.


이 측면에는 약간의 진전이 있었습니다. 과대 광고와 편집증이 줄어들면서, 우리는 많은 가치를 제공할 수 있는 기술을 갖게 되었습니다. 하지만 신중하게 접근해야 합니다.


본 포스팅에서는 브랜드가 미래에 특정 행동을 할 가능성이 높은 성향을 확인하고, 이를 바탕으로 고객 세그먼트를 더 잘 이해하고 더 잘 생성할 수 있도록 지원하는 Braze(브레이즈) Predictive Suite를 소개합니다. 또한, 이 도구의 예측이 정확하고 실행 가능한지 확인하는 방법에 대해 살펴보겠습니다.


Braze(브레이즈)의 인텔리전스 팀은 마케터가 AI/ML을 활용하여 고객을 더 잘 이해하고 커뮤니케이션 전략을 더 잘 실행할 수 있도록 돕는 Predictive Suite를 구축했습니다. 그러나 마케팅 환경에서 이러한 도구는, 수학적 도구와 마찬가지로 실제로 결과를 제공하는 경우에만 가치를 가져다 줄 수 있습니다. 마케터는 유사 AI나 잘못된 AI에 만족해서는 안 됩니다. Braze(브레이즈)는 모든 Braze(브레이즈) 사용자가 성공을 극대화하고, Braze(브레이즈)를 효과적으로 사용하기를 원합니다.


Predictive Suite를 개발하는 과정에서 이러한 두 가지 목표를 모두 달성할 수 있는 유일한 방법은 다음과 같다는 것을 알게 되었습니다.


1. 사용자의 니즈에 따라 맞춤형 예측 모델 제공

2. 사용자가 활용하기 전에 이 모델이 정확한지 확인






검증 우선순위 정하기


첫 번째 목표는 까다로웠습니다. 각 모델의 예측 정확성을 두 번 검사하여 데이터의 예상치 못한 중단이나 문제를 탐지함으로써 일부 복잡성을 해결할 수 있었습니다(이 프로세스를 "검증"이라고 합니다). 다행이 이 목표를 달성함으로써 두 번째 목표를 달성하는 방법을 명확히 할 수 있었습니다. 즉, 주어진 예측에 대한 검증 결과를 사용자와 공유하여 모델의 예측 정확도를 여과 없이 측정할 수 있습니다.


실제 방법은 다음과 같습니다.


  • 사용자는 고객 이탈에 대한 맞춤형 정의(예: 14일 동안 구매하지 않은 경우 vs 7일 동안 구매를 하지 않은 경우) 또는 구매에 대한 맞춤형 정의를 사용하여, Braze(브레이즈) 대시보드에 미리 보기 예측을 작성하는 것에서부터 시작합니다.
  • Braze(브레이즈)는 자동으로 예측을 생성하고, 기록 데이터로 예상 정확도를 즉시 측정한 다음, 사용자가 정의한 예측을 기다렸다가 실제 결과와 비교하여 정확도를 다시 확인합니다.
  • 그 다음, 대시보드의 예측 퀄리티 지표를 통해 예상 정확도와 실제 정확도가 모두 공유됩니다.


여기 흥미로운 점이 있습니다. 귀사의 브랜드에서 Predictive Suite를 구매하거나, 이를 활용하여 메시지를 발송하기 전에도 위의 모든 작업을 수행할 수 있습니다. 또한 이러한 예측 사항을 지속적으로 재평가하기 때문에, 예측 성능이 낮아질 경우 사용자에게 알려줍니다.







정확도를 측정하는 방법


그렇다면, 정확히 Braze(브레이즈)는 어떻게 예측 정확도를 측정할까요?


Braze(브레이즈) Predictive Suite에 있는 것과 같이, 특정 고객이 향후에 구매할 것인지 여부를 결정하는 예측 변수가 있다고 가정해 보겠습니다. 예측자는 그 고객의 데이터를 가져와 관련 알고리즘을 통해 전달한 후 성향 점수를 도출할 것입니다. 그 다음 담당자가(아마도 여러분이겠죠?) 해당 점수를 받은 고객을 잠재적인 구매자로 간주해야 하는지 여부를 살펴보고 평가합니다. 예를 들면, 이를 통해 특정 임계값을 초과하는 구매 가능 점수를 가진 고객에게만 특별 프로모션을 보낼 수 있습니다.


이 시나리오에서는 특정 고객이 미래에 구매할 것인지의 여부를 예측합니다. 예측 변수를 처음 만들 때 과거 데이터를 사용하면 실제 결과도 알 수 있습니다. 즉, 특정 고객이 구매를 할 지 예측할 수 있고, 그 예측이 실현되었는지 확인하기 위해 실제로 수행한 행동을 살펴볼 수 있습니다.


가능한 예측과 가능한 실제 결과를 함께 사용하여 일명 "혼돈 매트릭스"를 만들 수 있습니다. 여기서 행은 Braze(브레이즈)가 예측한 내용을 나타내고, 열은 고객이 실제로 수행한 행동을 나타냅니다.




민감도, 특이성, 정밀도, 리콜, 포지티브 예측값, 잘못된 발견률 등 다양한 결과를 정량화하는(그리고 그렇게 함으로써 예측 변수 자체의 정확성을 정량화하는) 여러 가지 방법이 있습니다. 각 측정값은 일반적으로 위의 표에 설명된 다양한 결과의 비율에 해당하며, 서로 다른 측정값은 서로 다른 종류의 결과의 중요성을 강조(또는 덜 강조)합니다.


주어진 예측을 활용하는 것이 궁극적으로 매출을 높이는 데 도움이 될지 여부를 결정하려면, 가능한 각 결과의 비용/편익뿐만 아니라 최대화하려는(또는 최소화하려는) 지표를 아는 것이 중요합니다. 그런 의미에서 A/B 테스트의 p-값과 비슷합니다. 즉, 주어진 예측이 실제로 도움이 되는지 여부를 확인할 수 있는 숫자 지표를 제공합니다.






실제 예측 정확도 측정


Braze(브레이즈)는 Predictive Suite를 사용하여 만든 각 예측에 대해 ‘예측 퀄리티(Prediction Quality)’라는 지표를 제공합니다. 이 지표는 시뮬레이터에서 선택할 수 있는 모든 가능한 메시징 대상에 대해 예측이 얼마나 긍정적인지를 설명합니다. 이것은 단순한 0-100 척도에서 요약된 숫자를 제공하며, 이 예측이 추측과 비교하여 얼마나 상승 효과를 제공하는지 전반적으로 보여 줍니다. 이 지표는 예측이 생성될 때 과거 데이터에서 한 번 계산되고 실제 사용자 결과에서 다시 한 번 계산되므로 정확성을 추적할 수 있습니다. (예측 퀄리티 지표를 계산하는 방법에 대한 자세한 내용은 여기를 참조하십시오.)


다음의 구체적인 예는 이것이 실제로 무엇을 의미하는지 보여주는 데 도움이 될 것입니다. 특히 전략에 예측을 사용하는 방법을 신중하게 결정하기 위해서, 여기에서 true positives와 false positives를 고려해야 합니다.




위의 예를 보면, 잠재적으로 구매 가능성이 있는 약 50만 명의 고객을 대상으로 작업하고 있습니다. 구매 가능성 점수가 75점 이상인 고객에게만 메시지를 보낸다면 26,541명의 사용자에게 도달하게 됩니다. 이 고객의 과거 구매 행태와 예측의 정확성을 바탕으로 약 11,000명의 고객이 구매를 하게 될 것으로 추정되며, 이는 녹색 진행률 표시줄에서 볼 수 있듯이 전체 구매자의 약 25%에 불과합니다. 따라서, 그 비율은 true positive 비율입니다.


빨간색 진행률 표시줄은 또 다른 주요 정보를 제공합니다. 구매 가능성이 가장 높은 모집단의 개인을 대상으로 하고 있음에도, 이 설정은 구매하지 않을 15,385명의 사용자도 대상으로 하고 있습니다. 이러한 고객은 false positives 입니다. 즉, 예측에서는 구매를 할 것으로 보였지만 실제로는 구매하지 않는 개인입니다. 이 경우 구매하지 않을 고객 447,000명 중 약 3.3%인 15,000여 명만 메시지를 받게 됩니다. 낮은 비율이지만, 귀사의 특정 고객과 비즈니스 모델은 그것이 귀사의 비즈니스에 허용 가능한 수준의 오류인지 여부를 알려줍니다.





이는 잠재적인 접근 방식 중 하나일 뿐입니다. 구매 가능성 점수가 50점 이상인 모든 사용자에게 메시지를 보내도록 선택할 수도 있습니다. 그러면 전체 고객에서 실제 구매자의 약 90%(녹색으로 진행률 표시), 즉 약 40,000명의 사용자에게 도달할 수 있습니다. 그러나 빨간색 막대에 표시된 230,000명 이상의 사용자에게도 메시지가 보내지게 됩니다. 이는 잠재적인 비구매자의 절반 이상에 해당됩니다.


이 접근 방법이 그럴만한 가치가 있을까요? 고객, 메시징 전략, 메시지에 포함된 프로모션 또는 인센티브 비용, 추가 구매와 관련된 이점, 이 프로모션이 사용자 행동을 바꿀 가능성, 비즈니스와 관련된 기타 모든 변수에 따라 달라집니다. 핵심은 비용 대비 이점이며, 대시보드의 선택기를 통해 다양한 시나리오를 시뮬레이션하고 다양한 결과를 계획하여 귀사의 브랜드에 가장 적합한 접근 방식을 선택할 수 있습니다.


장기적으로 볼 때, AI는 여러분이 알고 있는 모든 컨텍스트와 비즈니스 로직에 접근할 수 없기 때문에, AI가 아무리 정확하다고 하더라도 여러분이 활용할 수 있는 모든 예측에 대해 이러한 종류의 분석이 필요합니다.







마지막으로


true 및 false positive와 같은 일부 개념이 생소할 수 있습니다. 그러나 AI/ML이 오늘날 고객 참여의 중심이 됨에 따라, 앞으로는 p-값과 같은 개념만큼 어디서나 쉽게 볼 수 있게 될 것으로 예상됩니다. Braze(브레이즈)는 이러한 도구와 개념을 최대한 쉽게 실천할 수 있도록 노력하고 있습니다.


Braze(브레이즈)의 Predictive Suite가 실제로 브랜드에서 어떻게 작동하는지 궁금하신가요? 글로벌 브랜드 Delivery Hero와 8fit이 각각 Predictive Churn과 Predictive Purchase를 사용하여 어떻게 비즈니스 목표에 도달했는지 방법을 확인해 보십시오.


logo

팀맥소노미

YOUR DIGITAL MARKETING HERO

비즈니스 성장을 위한 최적의 솔루션과 무료 데모 시연, 활용 시나리오를 제안 받아보세요

관련 글 보기

AI 시대 속 개인정보 보호 - 1단계 인식변화

AI 시대 속 개인정보 보호 - 1단계 인식변화

AI·DX 시대, 글로벌 기업의 개인정보 보호 전략과 모범 사례를 소개합니다.(MS, 에어비앤비, 세일즈포스, 웰스파고)

A/B테스트 개념과 데이터 분석 방법🔍

A/B테스트 개념과 데이터 분석 방법🔍

A/B 테스트는 두 가지 혹은 그 이상의 서로 다른 버전(Variant)을 비교하여 어느 쪽이 더 나은 성과를 내는지 판단하는 실험 기법입니다.

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

최근 여러 기업에서 개인정보 유출 사고가 발생 중인 상황에서 기업은 어떻게 대응해야 할까? DX와 AX의 흐름 속 개인정보 보호가 나아가야 할 방향.

B급 감성 마케팅이 온다

B급 감성 마케팅이 온다

B급 감성이란?혜성처럼 등장한 B급 감성은 많은 산업과 분야에 영향을 미치고 있습니다. B급의 사전적 의미는 ‘완벽함을 추구하는 것보단, 투박하고 엉성한 스타일을 추구하는 것’입니다. 이런 B급 감성은 소비자가 손쉽게 친근감을 느낄 수 있어, 특히 마케팅 분야에서 많이 시도하는데요.한때 모두가 B급감성을 지향하던 시기가 있을 정도로 그 파급력이 강력했습니다. 하지만 B급 감성을 마케팅에 적절히 활용하기란 여간 까다로운 것이 아닙니다. 잘못된 B급 감성의 적용은 자칫 브랜드 자체를 B급으로 만들어 버릴 수도 있기 때문입니다.B급 감성 마케팅은 모두가 완벽해지고 싶어하는 가운데 일부러 허술함을 표현합니다. 이것은 비슷한 기성품들 사이 차별화를 부각시킴과 동시에, 독보적이고 특별함을 보여줄 수 있는 장점을 가지고 있습니다. 또한 완벽하지 않은 모습에 소비자들이 마음을 조금더 손쉽게 열 수 있는 친근한 접근 방식이죠.하지만 잊지마세요. 오늘 맥사이트픽에서 이야기해볼 ‘B급 감성 마케팅’은 결코 단어 그대로의 B급을 의미하지 않습니다. B급이란 이름표를 달고 있고, 그래서 어딘가 B급처럼 보이긴 하지만 사람들의 마음을 움직이는 힘을 가지고 있는 마케팅이 우리가 추구하는 진정한 B급 감성 마케팅입니다.실제로는 SS급 역할을 해주었을 때, 비로소 B급 감성 마케팅이라 부를 수 있다는 점을 명심하세요! 무조건 B급의 소재를 브랜드와 결합시켰다고 해서 B급 감성 마케팅으로 볼 수 없습니다.B급 감성을 살린 마케팅Dollar Shave Club: 우리 면도날은 끝내주게 좋습니다.출처: DollarShaveClub 유튜브 | Our Blades Are F***ing Great면도기 및 미용용품 구독 서비스를 제공하는 Dollar Shave Club은 저예산 B급 감성의 유튜브 광고 영상을 제작하여 큰 주목을 받았습니다.문을 통과할 때 종이가 엉성하게 뜯기고, 테이프는 제대로 잘리지 않고, 택배 상자 패스를 놓치는 등 실수를 의도적으로 활용하여 웃음을 주면서도 인간적인면을 부각시키는 광고였습니다.굉장히 단순한 촬영과, 현실적인 메시지에 곁들인 유머러스한 대사가 오히려 화려한 광고들보다 특별해보입니다. 이를 곧 친밀감으로 연결할 수 있다는게 B급 감성 마케팅의 힘입니다.이 광고가 그리 특별해보이지 않은 사람도 있을 것입니다. 이미 많이 본 컨셉이라고 하면서 말이죠. 하지만 이 광고가 13년 전인 2012년에 나왔다는 점을 감안했을 때, 당시 얼마나 신선하고 충격적이었을지 상상조차 안됩니다.해당 광고는 공개 후 약 48시간만에 12,000명 이상의 신규 가입자를 유치했고, 이후 영국의 생활 용품 기업 ‘유니레버’에 10억달러에 인수되는 성과를 만들었습니다.CJ 제일제당: 육수커플출처: CJ제일제당 육수커플 유튜브 | 우리 결혼했어요 육수커플최근 제일제당에서는 편의형 코인육수의 신제품인 ‘바지락멸치 맛 1분링’을 출시했습니다. 해당 제품 홍보를 위해 ‘1분링’ 캠페인을 진행 중인데요. 광고 스토리가 정말 재밌습니다.배우 변요한·차주영이 몰던 차량이 강에 빠지자 강물이 육수로 가득 우러나고, 잠시 후 폭발하는 자신의 집을 바라보며 미소를 짓는 두 사람의 모습으로 끝이납니다.B급이라는 표현으로도 부족한 황당한 전개에 과장된 슬로모션까지 더해 광고는 처음부터 끝까지 절대 B급이라는 프레임을 벗어나지 않기 위해 노력합니다. 또한 이런 B급광고에 어울리지 않는 정극 배우들을 모델로 선정하여, 부조화를 이루고 있죠.이런 부조화가 오히려 신선하고 재밌게 다가오며, 소비자로부터 뜨거운 반응을 이끌고 있습니다.우리가 B급 감성을 사랑하는 이유이런 B급 감성의 광고가 소비자의 마음을 움직이는 이유는 뭘까요?익숙하게 자리한 밈(meme) 문화가 밑바탕이 되어있기 때문이라고 설명할 수 있습니다. 밈은 반복과 자가복제 즉 패러디가 핵심인데 B급 콘텐츠는 이러한 이야기 형식에 딱 들어 맞습니다. 한 번 웃기면 빠르게 퍼지고, 재생산되며, 비슷하지만 어딘가 새로운 또 다른 유행을 만들어냅니다.여기에 전형적인 광고의 모습이 아닌 마치 TV드라마의 한 장면같은 구성은 광고에 대한 거부감을 줄이는데 효과적인이면서, ‘B급이니까 광고더라도 그냥 재미로 한번 봐줘’ 의 뉘양스로 소비자에게 더 쉽게 다가갈 수 있었습니다.다만, B급 감성 마케팅을 시도해보고 싶다면 다음 3가지는 절대 피해야만 합니다. 브랜드가 전달하려는 메시지를 방해한다면, B급 감성을 접목하지 말아야 합니다: 브랜드의 상품과 서비스가 B급으로 표현되면 안되는 분야가 있을 수 있습니다. 대표적으로, 사람의 생명을 다루는 의료 또는 의약 분야가 있죠. 이런 분야에서 B급 감성을 잘못 적용하면, 소비자에게 전달될 상품과 서비스의 메시지가 왜곡될 수 있고 이로인해 잘못된 소비자의 이해가 발생할 수 있습니다. 뿐만 아니라, 광고로 인한 사회적 논란이 생겨날 수 있습니다.과한 유머는 소비자의 불쾌감을 유발시킬 수 있습니다: 특정 집단을 대상으로 희화하거나, 적절한 정도를 넘어서는 유머는 대중을 대상으로 하는 광고에서 오히려 반감을 불러일으킬 수 있습니다.일관성있는 메시지와 브랜드의 가치 안에서 B급 감성이 들어있어야 합니다: 이전 포스트인 2025년 대통령 선거로 보는 마케팅 기술에서도 언급되었지만 브랜드의 일관성은 곧 소비자들의 신뢰도와 직결된 부분입니다. 우리의 메인 메시지와 정체성이 이어지지 않은 B급 감성 마케팅은 그저 ‘B급 감성을 위한 마케팅’이 될 것입니다.🚩맥소노미가 PICK한 이유대부분의 광고와 마케팅의 목적은 소비자에게 브랜드의 가치를 진정성있고 친근하게 전달하여 브랜드로 들어오는 유입 장벽을 낮추기 위함입니다. 그러나 이때, 브랜드와 어울리지 못한, 그리고 정도를 지나친 B급 감성 마케팅은 되려 소비자 마음의 문을 닫아버릴 수 있으니 다른 마케팅 전략보다 더욱 신중할 필요가 있습니다. 브랜드가 소비자에게 이야기하고 싶은 메시지를 잃지 않고서 B급 감성이 활용되어야 마케팅을 통한 진정한 B급을 만들어낼 수 있습니다. B급 감성은 처음에는 소비자들에게 어설퍼 보일 수 있지만, 실제로 이는 계산된 어설픔이라 결과적으로는 완벽하다는 메시지로 이어집니다. 그리고 장난처럼 보이지만 누구보다 진지하다는 것을 소비자들이 알수 있습니다. 소비자가 처음에는 가벼운 마음으로 B급 감성 마케팅을 받아들이지만 궁극적으로는 누구보다 진지하게 자신들의 가치를 전달하고 있는 브랜드의 감성을 제대로 이해해주었을 때 B급 감성이 제대로 성공했다고 볼 수 있을 것 입니다.

인공지능(AI)과 머신러닝(ML)이 화려하게 등장했지만, 여전히 대부분의 사회에서는 향후 AI가 우리 모두를 파괴하는 인간형 로봇으로 이어지게 될지 여부에 대해서 논쟁 중입니다. 하지만 다행히도 마케팅의 영역에서는, 마케팅 담당자가 업무를 더 잘 할 수 있도록 도와주는 복잡한 알고리즘에 불과합니다.


이 측면에는 약간의 진전이 있었습니다. 과대 광고와 편집증이 줄어들면서, 우리는 많은 가치를 제공할 수 있는 기술을 갖게 되었습니다. 하지만 신중하게 접근해야 합니다.


본 포스팅에서는 브랜드가 미래에 특정 행동을 할 가능성이 높은 성향을 확인하고, 이를 바탕으로 고객 세그먼트를 더 잘 이해하고 더 잘 생성할 수 있도록 지원하는 Braze(브레이즈) Predictive Suite를 소개합니다. 또한, 이 도구의 예측이 정확하고 실행 가능한지 확인하는 방법에 대해 살펴보겠습니다.


Braze(브레이즈)의 인텔리전스 팀은 마케터가 AI/ML을 활용하여 고객을 더 잘 이해하고 커뮤니케이션 전략을 더 잘 실행할 수 있도록 돕는 Predictive Suite를 구축했습니다. 그러나 마케팅 환경에서 이러한 도구는, 수학적 도구와 마찬가지로 실제로 결과를 제공하는 경우에만 가치를 가져다 줄 수 있습니다. 마케터는 유사 AI나 잘못된 AI에 만족해서는 안 됩니다. Braze(브레이즈)는 모든 Braze(브레이즈) 사용자가 성공을 극대화하고, Braze(브레이즈)를 효과적으로 사용하기를 원합니다.


Predictive Suite를 개발하는 과정에서 이러한 두 가지 목표를 모두 달성할 수 있는 유일한 방법은 다음과 같다는 것을 알게 되었습니다.


1. 사용자의 니즈에 따라 맞춤형 예측 모델 제공

2. 사용자가 활용하기 전에 이 모델이 정확한지 확인






검증 우선순위 정하기


첫 번째 목표는 까다로웠습니다. 각 모델의 예측 정확성을 두 번 검사하여 데이터의 예상치 못한 중단이나 문제를 탐지함으로써 일부 복잡성을 해결할 수 있었습니다(이 프로세스를 "검증"이라고 합니다). 다행이 이 목표를 달성함으로써 두 번째 목표를 달성하는 방법을 명확히 할 수 있었습니다. 즉, 주어진 예측에 대한 검증 결과를 사용자와 공유하여 모델의 예측 정확도를 여과 없이 측정할 수 있습니다.


실제 방법은 다음과 같습니다.



여기 흥미로운 점이 있습니다. 귀사의 브랜드에서 Predictive Suite를 구매하거나, 이를 활용하여 메시지를 발송하기 전에도 위의 모든 작업을 수행할 수 있습니다. 또한 이러한 예측 사항을 지속적으로 재평가하기 때문에, 예측 성능이 낮아질 경우 사용자에게 알려줍니다.







정확도를 측정하는 방법


그렇다면, 정확히 Braze(브레이즈)는 어떻게 예측 정확도를 측정할까요?


Braze(브레이즈) Predictive Suite에 있는 것과 같이, 특정 고객이 향후에 구매할 것인지 여부를 결정하는 예측 변수가 있다고 가정해 보겠습니다. 예측자는 그 고객의 데이터를 가져와 관련 알고리즘을 통해 전달한 후 성향 점수를 도출할 것입니다. 그 다음 담당자가(아마도 여러분이겠죠?) 해당 점수를 받은 고객을 잠재적인 구매자로 간주해야 하는지 여부를 살펴보고 평가합니다. 예를 들면, 이를 통해 특정 임계값을 초과하는 구매 가능 점수를 가진 고객에게만 특별 프로모션을 보낼 수 있습니다.


이 시나리오에서는 특정 고객이 미래에 구매할 것인지의 여부를 예측합니다. 예측 변수를 처음 만들 때 과거 데이터를 사용하면 실제 결과도 알 수 있습니다. 즉, 특정 고객이 구매를 할 지 예측할 수 있고, 그 예측이 실현되었는지 확인하기 위해 실제로 수행한 행동을 살펴볼 수 있습니다.


가능한 예측과 가능한 실제 결과를 함께 사용하여 일명 "혼돈 매트릭스"를 만들 수 있습니다. 여기서 행은 Braze(브레이즈)가 예측한 내용을 나타내고, 열은 고객이 실제로 수행한 행동을 나타냅니다.




민감도, 특이성, 정밀도, 리콜, 포지티브 예측값, 잘못된 발견률 등 다양한 결과를 정량화하는(그리고 그렇게 함으로써 예측 변수 자체의 정확성을 정량화하는) 여러 가지 방법이 있습니다. 각 측정값은 일반적으로 위의 표에 설명된 다양한 결과의 비율에 해당하며, 서로 다른 측정값은 서로 다른 종류의 결과의 중요성을 강조(또는 덜 강조)합니다.


주어진 예측을 활용하는 것이 궁극적으로 매출을 높이는 데 도움이 될지 여부를 결정하려면, 가능한 각 결과의 비용/편익뿐만 아니라 최대화하려는(또는 최소화하려는) 지표를 아는 것이 중요합니다. 그런 의미에서 A/B 테스트의 p-값과 비슷합니다. 즉, 주어진 예측이 실제로 도움이 되는지 여부를 확인할 수 있는 숫자 지표를 제공합니다.






실제 예측 정확도 측정


Braze(브레이즈)는 Predictive Suite를 사용하여 만든 각 예측에 대해 ‘예측 퀄리티(Prediction Quality)’라는 지표를 제공합니다. 이 지표는 시뮬레이터에서 선택할 수 있는 모든 가능한 메시징 대상에 대해 예측이 얼마나 긍정적인지를 설명합니다. 이것은 단순한 0-100 척도에서 요약된 숫자를 제공하며, 이 예측이 추측과 비교하여 얼마나 상승 효과를 제공하는지 전반적으로 보여 줍니다. 이 지표는 예측이 생성될 때 과거 데이터에서 한 번 계산되고 실제 사용자 결과에서 다시 한 번 계산되므로 정확성을 추적할 수 있습니다. (예측 퀄리티 지표를 계산하는 방법에 대한 자세한 내용은 여기를 참조하십시오.)


다음의 구체적인 예는 이것이 실제로 무엇을 의미하는지 보여주는 데 도움이 될 것입니다. 특히 전략에 예측을 사용하는 방법을 신중하게 결정하기 위해서, 여기에서 true positives와 false positives를 고려해야 합니다.




위의 예를 보면, 잠재적으로 구매 가능성이 있는 약 50만 명의 고객을 대상으로 작업하고 있습니다. 구매 가능성 점수가 75점 이상인 고객에게만 메시지를 보낸다면 26,541명의 사용자에게 도달하게 됩니다. 이 고객의 과거 구매 행태와 예측의 정확성을 바탕으로 약 11,000명의 고객이 구매를 하게 될 것으로 추정되며, 이는 녹색 진행률 표시줄에서 볼 수 있듯이 전체 구매자의 약 25%에 불과합니다. 따라서, 그 비율은 true positive 비율입니다.


빨간색 진행률 표시줄은 또 다른 주요 정보를 제공합니다. 구매 가능성이 가장 높은 모집단의 개인을 대상으로 하고 있음에도, 이 설정은 구매하지 않을 15,385명의 사용자도 대상으로 하고 있습니다. 이러한 고객은 false positives 입니다. 즉, 예측에서는 구매를 할 것으로 보였지만 실제로는 구매하지 않는 개인입니다. 이 경우 구매하지 않을 고객 447,000명 중 약 3.3%인 15,000여 명만 메시지를 받게 됩니다. 낮은 비율이지만, 귀사의 특정 고객과 비즈니스 모델은 그것이 귀사의 비즈니스에 허용 가능한 수준의 오류인지 여부를 알려줍니다.





이는 잠재적인 접근 방식 중 하나일 뿐입니다. 구매 가능성 점수가 50점 이상인 모든 사용자에게 메시지를 보내도록 선택할 수도 있습니다. 그러면 전체 고객에서 실제 구매자의 약 90%(녹색으로 진행률 표시), 즉 약 40,000명의 사용자에게 도달할 수 있습니다. 그러나 빨간색 막대에 표시된 230,000명 이상의 사용자에게도 메시지가 보내지게 됩니다. 이는 잠재적인 비구매자의 절반 이상에 해당됩니다.


이 접근 방법이 그럴만한 가치가 있을까요? 고객, 메시징 전략, 메시지에 포함된 프로모션 또는 인센티브 비용, 추가 구매와 관련된 이점, 이 프로모션이 사용자 행동을 바꿀 가능성, 비즈니스와 관련된 기타 모든 변수에 따라 달라집니다. 핵심은 비용 대비 이점이며, 대시보드의 선택기를 통해 다양한 시나리오를 시뮬레이션하고 다양한 결과를 계획하여 귀사의 브랜드에 가장 적합한 접근 방식을 선택할 수 있습니다.


장기적으로 볼 때, AI는 여러분이 알고 있는 모든 컨텍스트와 비즈니스 로직에 접근할 수 없기 때문에, AI가 아무리 정확하다고 하더라도 여러분이 활용할 수 있는 모든 예측에 대해 이러한 종류의 분석이 필요합니다.







마지막으로


true 및 false positive와 같은 일부 개념이 생소할 수 있습니다. 그러나 AI/ML이 오늘날 고객 참여의 중심이 됨에 따라, 앞으로는 p-값과 같은 개념만큼 어디서나 쉽게 볼 수 있게 될 것으로 예상됩니다. Braze(브레이즈)는 이러한 도구와 개념을 최대한 쉽게 실천할 수 있도록 노력하고 있습니다.


Braze(브레이즈)의 Predictive Suite가 실제로 브랜드에서 어떻게 작동하는지 궁금하신가요? 글로벌 브랜드 Delivery Hero와 8fit이 각각 Predictive Churn과 Predictive Purchase를 사용하여 어떻게 비즈니스 목표에 도달했는지 방법을 확인해 보십시오.


브레이즈, 데이터 분석, 예측