이벤트

[더맥소노미2024 세션 스케치VII] 생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

Team MAXONOMY 2024.02.28

[더맥소노미2024 세션 스케치VII] 생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

더맥소노미2024 세션 스케치 일곱 번째 포스트입니다.

이번 세션 스케치는 배달의민족을 서비스하는 '우아한형제들'이 AI를 어떻게 활용해서 시스템에 녹이고 고객경험을 개선하였는지 자세히 알아보도록 하겠습니다.



The MAXONOMY 2024 는 지난 11월 28일, 롯데호텔월드 크리스탈볼룸에서 개최된, 데이터 마케팅 솔루션 전문가 팀 맥소노미가 주최하는 연례 마테크 컨퍼런스로, 국내외 마테크, 애드테크 솔루션사 및 국내 최정상 기업의 마케팅, 데이터 담당자 분들과 함께 데이터를 활용한 마케팅 성공 사례와 인사이트, 트렌드 등을 공유하는 자리입니다.


금번 컨퍼런스에는 1천여 명의 마케터, 비즈니스 리더, 프로덕트 매니저 분들께서 참석해 주셨으며, 총 21명의 연사분들께서 'Further Steps of Data Marketing'을 주제로 생생한 데이터 활용 전략과 사례, 노하우를 공유해 주셨습니다.







생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

우아한형제들 | 이봉호 데이터사이언티스트









AI & CX(Customer Experience)


먼저, 이봉호님은 우아한형제들의 데이터 과학자로서 마케팅 성과분석, KPI 수립, 수요예측, 인과추론 등의 업무를 수행하고 있으십니다. 그리고 최근에는 AI를 비즈니스에 적용하는 방법을 찾는 업무를 수행했다고 합니다. AI와 CX는 서로 뗄래야 뗄 수 없는 관계인데요. CX의 프레임워크에는 고객, 전략, 마케팅, 프로세스 등 여러가지 요소가 있고 그중 시스템은 CX의 핵심 요소이자 AI와도 관련된 부분이기 때문입니다.







Data Centric Approach


AI 트렌드


최근 많은 빅테크 기업이 앞다투어 LLM(대규모 언어 모델)을 출시하고 데이터센터를 건설하는 등 AI 분야에 많은 투자를 하고 있습니다. 왜 많은 테크 기업이 AI에 투자하고 이에 유저들이 환호하고 있는 것일까요? 이봉호님께서는 '활용처를 고민할 필요가 없기 때문'이라고 말합니다. 다른 서비스와 다르게 LLM은 다양한 명령어를 통해 다양한 목적에 활용할 수 있기 때문인데요. 그렇다면 모든 회사는 경쟁력을 위해 생성형 AI를 만들어야할까라는 생각이 들 수도 있지만, 사실 쉽지 않은 일입니다. 우선 초기 훈련 비용만 100만달러, 한화 약 1,300억 원이 들어가며 이후 관리하고 개선하는데 훨씬 더 많은 비용이 발생합니다.


그래서 많은 기업에서 산업별 특화된 AI를 개발하는 전략을 취하고 있습니다. 대형 모델을 개발하는 것보단 비용이 저렴하며, 특정 사용 목적에 훨씬 용의할 수 있기 때문이죠. 여기까지 듣다보면, 나도 앞으로 변화하는 AI시대에 적응하기 위해 AI 개발을 배워야하는 생각이 들 수도 있지만, 전혀 그럴 필요가 없습니다. 그 이유는 포스팅 끝 부분에서 확인할 수 있습니다!






우리는 데이터를 제대로 활용하고 있는가


우리는 BPS, 리텐션, 이탈률 등의 지표를 사용해서 마케팅 성과를 측정하고 있습니다. 이런 지표가 의미없는 것은 아니지만, 최근 연구에 의하면 이 보다 더 강력한 방법이 있습니다. 그것은 바로 데이터를 여러 측면에서 반복해서 관찰하고 측정하는 것입니다. 이 방법을 사용하면 기존에 발견하지 못했던 개선점을 발견할 수 있을뿐만 아니라, 심지어 브랜딩 성과까지도 측정 가능하다고 합니다. 브랜딩은 성격상 그 성과를 측정할 수 없다는 것이 지금까지 마케팅에서의 통용되던 생각이었지만, 해당 브랜드가 온오프라인에 반복해서 관찰 가능한지 측정하여 그 성과를 측정할 수 있다고 합니다.


KDD 2021 스포티파이 세션에서는 스포티파이가 고객 경험을 개선할 수 있었던 방법을 공유되었는데요. 여기서도 마찬가지로 고객이 반복적으로 보여주는 태도를 측정하고 고민하여 KPI를 찾고 그 KPI를 달성하니 고객 경험이 실제로 개선되었다고 설명합니다.






Data Centric Approach


AI 컴포넌트는 크게 3가지로 나눌 수 있는데요. Data(데이터), Model(모델), Operation(오퍼레이션)입니다. 데이터, 모델, 오퍼레이션의 각 관점에서 고객경험을 어떻게 정의하고 어떻게 매칭 시키냐에 따라서 AI프로덕트를 활용한 고객 경험 개선과 변화 정도가 달라지는데요. 사실 지금까지는 이 중 모델에 대한 투자가 활발했던 경향이 있습니다. 빅테크만큼 투자여력이 있다면 모델에 투자하는 것은 합리적일 수 있습니다. 투자한 만큼 성능을 보여주니까요. 하지만 시간이 지나면 개발에 필요한 시간이 기하급수적으로 증가하고 성능 개선에 한계가 발생합니다.


그래서 이봉호님이 제안하는 것은 데이터에 대한 투자입니다. 이를 두고 앤드류 응 고수는 'Data Centric Approach'라고 명명했는데요. 데이터를 중심으로 접근하는 것을 말합니다. 더 자세히는 데이터의 양과 질에 집중해서 문제를 개선하는 것을 말합니다. 많은 기업이 자사에는 많은 데이터가 있다고 자부하는 경향이 있는데요. 하지만 이는 보통 운영 데이터를 두고 말하는 경우가 많습니다. 운영데이터와 학습 데이터는 질적인 측면에서 다르다고 할 수 있습니다. 같은 목적인 데이터끼리 묶어주거나 오답이 있는지 확인해보는 절차 즉, 관점이 포함되는지가 중요합니다. 물론 많은 비용을 들여서 데이터의 질을 무시하고 많은 양의 데이터를 중심으로 AI를 개발할 수도 있습니다. 하지만 그만큼 많은 비용이 들어갈 것이고, 그 비용대비 유의미한 효과를 거두는 것은 상당이 어려운 일입니다.










마라순두부는 한식일까 중식일까


배민 검색창 개선하기


이봉호님은 어느날 배달의민족 검색 기능이 굉장히 약하다는 것을 인지하였다고 합니다. 예를들어 짜장면을 먹고 싶어서 검색창에 '짜장면'이라고 검색을 하였는데 짬짜면, 불타는 쫘장, 달달짭짤면 등과 같이 가게 사장님이 설정한 자유로운 명칭의 짜장면이 검색되지 않았던 것이죠. 이에 이봉호님은 배민에서 판매되는 모든 종류의 메뉴를 카테고라이징해보자고 제안하였습니다. 정말 특이한 음식을 제외한다면 어느 정도 큰 틀 안에서 분류가 가능할 것이고 검색기능 개선, 메뉴별 통계 등 여러가지 유의미한 성과를 달성할 수 있을 것이라고 생각했습니다.


하지만 이 작업을 사람이 수동으로 한다고 계산하면 10명이서 2년 정도 걸리는 일이었다고 합니다. 시간과 비용이 엄청나게 소모되는 일이었는데요. 이에 NLP(Natural Language Processing)를 적용한 머신러닝 기술을 활용하여 카테고리 분류 작업을 하였고, 그 결과 MM(Man Month) 기준으로 93.65% 나 절감할 수 있었다고 합니다.






관점이 중요하다


해당 프로젝트 초기에는 고객에게 나가는 데이터인데 AI가 판단한 결과를 어떻게 믿고 사용하냐는 이야기를 많이 들었다고 합니다. 그래서 프로젝트 초기에는 AI가 판단했을 떄 정답일 확률 99%인 것만 반영하고 나머지는 사람이 검사하는 방식으로 진행하였다고 합니다. 이후 사람의 오류 확률과 AI의 오류 확률을 비교해서 설득력을 얻고 자동화 레벨을 점차 올릴 수 있었고 해당 성과를 만들 수 있었다고 합니다.


물론 AI가 만능은 아닙니다. 돼지김치찌개를 돼지고기랑 김치찌개 중 어떤 것으로 분류할지에 대해 사람은 '둘다 하면되지'라고 쉽게 결론 지을 수 있지만 AI는 그렇지 않습니다. 여러가지 결론을 도출하라는 관점을 주입받지 못했기 때문입니다. 관점이라는 것은 AI를 통해 해결하고자하는 답의 방향을 말합니다. 그 답은 경영에서 MECE의 조건을 갖추면서, 복잡하지 않아서 AI에게 쉽게 전달해줄 수 있어야 합니다. 그런 관점을 명확하게 갖추면 AI 개발에 많은 돈을 투자할 필요가 없다고 합니다.


실제로 검색창 개선을 프로젝트 시간의 70% 가량은 돼지김치찌개가 돼지고기인지 김치찌개인지 싸우는 것으로 보냈다고 합니다. 모델 개발에 투자하는 것보다 이런 근본적인 데이터 관점을 먼저 해결하는 것이 효율적 일 수 있습니다.









결국 인간이다



Chat GPT의 오픈 AI가 캐냐의 노동자에게 2달러 미만의 시급을 주고 RLHF(Reinforcement Learning with Human Feedback)를 활용하고 있다는 기사를 보신 적 있나요? RLHF는 '인간 피드백을 통한 강화 학습'이라는 뜻으로 쉽게 말해 사람이 반복해서 AI 생성물에 피드백을 줌으로써 AI 성능을 개선하는 것을 말하는데요.


윤리적 논란 등을 뒤로 하고 여기서 얻을 수 있는 사실은 오픈AI처럼 앞서나가는 AI기업에도 결국 사람이 필요하다는 것입니다. 데이터를 가지고 어떤 답이 나오기를 바라고 어떤 비즈니스 임펙트를 만들고 싶은지 고민하고 데이터 거버넌스를 수립할 필요가 있습니다. 데이터를 생성하는 것도 소비하는 것도 활용하는 것도 인간이기 때문에 굳이 만능 AI를 사용하지 않고 최소한의 모델을 활용해서 문제를 해결할 수 있습니다. 고객으로부터 발생한 데이터를 통해 고객 경험을 개선하는 것도 마찬가지겠지요.




📺 우아한형제들의 데이터 마케팅 이야기 전체 영상 보러가기







팀 맥소노미와 글로벌 마테크 & 애드테크 솔루션사, 그리고 국내 최정상 기업이 함께했던 The MAXONOMY 2024의 모든 세션은 더맥소노미2024 다시보기에서 확인하실 수 있습니다. 더맥소노미2024를 통해 그동안의 고민이 조금은 가벼워지셨기를 바라며, 더맥소노미는 더욱 유익한 인사이트와 정보로 다시 찾아뵙겠습니다.

logo

팀맥소노미

YOUR DIGITAL MARKETING HERO

비즈니스 성장을 위한 최적의 솔루션과 무료 데모 시연, 활용 시나리오를 제안 받아보세요

관련 글 보기

Amplitude Feature Experiment:  데이터 기반 실험의 시작

Amplitude Feature Experiment: 데이터 기반 실험의 시작

실험이 중요한 이유디지털 서비스를 운영하다 보면 다음과 같은 질문과 마주하게 됩니다. “이 버튼을 바꾸면 클릭률이 더 높아질까?” “새로운 기능을 모든 사용자에게 바로 공개해도 될까?” “프리미엄 사용자에게만 실험적으로 먼저 공개해보고 싶은데, 어떻게 관리하지?”대부분 경우 직감이나 내부 회의로 결정을 내리지만, 그 결과가 실제로 사용자 경험과 KPI에 긍정적인 영향을 주는지 알기 어렵습니다. 이로 인해 향후에 추가적인 실험 테스트를 수행하기 어려운 환경이 조성되어 버리기도 합니다.또한, 서비스를 운영하다보면, 서비스의 성장을 위해 여러 고민과 의사결정이 필요한 순간이 옵니다.✅ 새로운 기능을 모든 사용자에게 배포하기엔 위험할 때✅ 디자인이나 UI를 바꾸고 그 효과를 정확히 측정하고 싶을 때✅ 특정 사용자 그룹에게만 실험적으로 기능을 보여주고 싶을 때✅ 실험 결과를 클릭률, 전환율, 리텐션율 등의 지표로 분석하고 싶을 때따라서, 개발단의 리소스를 최소화하면서, 실제 사용자 데이터 기반의 결과 분석이 가능한 실험 체계를 도입할 필요가 있습니다. Amplitude Experiment는 고객에게 제공하는 기능 on/off 토글링부터 A/B 테스트, 점진적 릴리즈, 결과 분석까지 하나의 워크플로우 안에서 지원함으로써 "기능 실험 → 결과 측정 → 의사결정"을 오차없이 빠르게 수행할 수 있도록 도와줍니다.Amplitude Experiment에서는 다음 두 가지 방식으로 실험을 구성할 수 있습니다.Feature ExperimentWeb Experiment이름만 보아서는 비슷해 보이지만, 실제 사용 목적과 운영 방식에는 뚜렷한 차이가 있습니다. 이번 포스팅에서는 이중 Feature Experiment에 대해 집중적으로 알아보겠습니다.Feature Experiment: 기능 중심 실험Feature Experiment는 코드 기반으로 운영되는 실험 방식입니다. 개발자가 직접 고객에게 보여줄 화면을 만들거나 신규 기능을 구현한 후에 이것을 일부 고객들에게만 노출하고 원하는 효과를 보았는지 확인하고자 할 때 활용합니다.개발단에서는 변경된 화면이나 기능을 적용하고 예외 처리를 추가하여 특정 사용자에게만 노출될 수 있도록 구현하고, 실무자는 원하는 고객군과 모수 비율을 Amplitude 콘솔에서 언제든 수정하여 테스트를 수행 해 볼 수 있습니다.개발단 기능- 화면 구성- 조건 처리실무단 기능- 모수집단 선정, 비율 선택- 전환 목표 지정, 분석 방식 선정- 테스트 시작, 종료, 기간 선정- 실험 분석 결과 확인- Analytics로 추가 심화 분석 수행예시로 이해하는 Feature Experiment 활용1) 신규 기능 가설 세우기어느 날, 개발자가 추천 알고리즘 로직 개선 작업을 완료 하였습니다. 이 알고리즘을 서비스에 적용하면 굉장한 효과를 보여줄 것이라 기대하고 있지만, 바로 운영계에 적용하기에는 어떤 사이드 이펙트가 있을지 예상할 수 없었습니다. 가령 잘못된 상품 추천으로 고객에게 안 좋은 경험을 제공하면 이탈로 이어질 수 있죠.따라서, 전체 고객이 아닌, VIP 고객 중 10%에게만 새 알고리즘을 적용하고 클릭률, 구매율을 측정하기로 하였습니다. 결과 데이터가 나머지 고객들에 비해 5%이상 증가한다면 전체 사용자에게 확대 배포하는 거죠.2) 개발단 작업처음 실험을 진행하는 것이라면 Amplitude Experiment SDK를 적용하는 작업이 필요합니다. 신규 추천 알고리즘은 이미 개발 완료된 상황이고 SDK 적용은 큰 시간이 소모되지 않기 때문에 거의 바로 실험 진행이 가능합니다.(Amplitude Experiment SDK 라이브러리 탑재 및 초기화 후 고객마다 서로 다르게 제공하고자 하는 위치에서 조건문(if)을 구성)Android 적용법1. 라이브러리 추가 (build.gradle에 dependencies 추가)2. 초기화 (Application단에서 초기화)3. 현재 사용자의 experiment 관련 정보 수신4. 고객이 보유한 flag 값에 따라 제공 여부 결정( 새로운 추천 알고리즘이 제공될 10%의 VIP 고객은 "on"으로, 그 외 고객들은 모두 "off"로 적용)3) Amplitude 설정(Experiment UI 구성)3-1) Deployment 생성하기운영하는 서비스는 여러 환경으로 구분되어 있습니다.개발계(development) / 내부 QA 테스트 수행 환경(staging) / 운영 환경(production)Android, iOS, Web 등 제공 플랫폼 환경실험을 진행하고자 할 때, 특정한 환경에서만 진행하실 수도 있고, 여러 환경에서 동시에 진행해 보실 수도 있을 겁니다. 이 때, 어떤 환경에 실험을 배포할 것인지를 정의할 수 있도록 "Deployment"라는 작업이 필요합니다.하나의 프로젝트 내에서 배포할 환경마다 각각의 Deployment를 생성해주시면, 실험을 진행할 때, 이 실험을 어떤 환경에만 배포할지 지정할 수 있습니다.Experiment > Deployments 화면에서 제공하는 “Create Deployment”를 클릭하고 배포할 환경의 이름과 프로젝트를 선택하면 바로 Deployment 생성이 가능합니다.3-2) Experiment 생성하기이제 기본적인 세팅은 모두 완료 되었으니 실험을 만들어 볼 수 있습니다!Experiment > Experiments 메뉴에서 새로운 실험명과 사용할 키 값을 정하신 후 생성(Create)합니다.4) 실험 설계4-1) 목표 설정하기실험을 만들 때 가장 먼저 생각해야 할 부분은 "목표" 설정 입니다. 실험을 한다는 것은 결국, 무언가를 더 좋게 만들기 위해서이기 때문에, 반드시 “이 실험을 통해 무엇이 좋아지기를 기대하는가?”에 대한 기준이 필요하며, 그것이 바로 목표 설정입니다. 우리가 설정한 목표를 달성했는지 여부를 가지고 이번 실험의 성공 여부를 파악해 보실 수 있겠지요.목표는 기존에 만들어 두었던 지표를 선택하실 수도 있고, 원하는 목표를 새롭게 생성하실 수도 있습니다.Unique, Event Total, Conversion 등 분석에서 활용해 보셨던 다양한 지표 옵션을 기반으로 목표 설정이 가능한데, 이번 실험에서는 클릭율이 5% 이상 증가하는 것을 목표로 잡았기 때문에, "화면 진입 > 버튼 클릭"으로의 전환율이 5% 이상 상승하는 것을 목표로 설정했습니다.4-2) 대안(Variant) 등록하기비교 테스트를 진행할 때, 대안은 하나일 수 있지만 여러 개가 있을 수도 있습니다. "내가 테스트하고 싶은 기능의 버전은 몇 가지이며, 각각 어떤 차이가 있을까?" 테스트 하고자 하는 대안의 수 만큼 Add a Variant 옵션으로 추가하여 정의할 수 있습니다. (단, 너무 많은 Variant는 분석을 어렵게 하므로 2~4개 이내를 권장합니다.)각 Variant의 Value 값은 SDK에서 분기 처리에 사용(e.g. variant.value)되므로 개발단에서 미리 지정하신 값이 있을 경우, 해당 값으로 기입되어야 하며, 미리 정의되어 있지 않았다면 여기에서 정의하시는 값으로 개발단의 코드 작업이 수행되어야 합니다.※Value 값이 수정될 경우, 앱의 재배포가 필요하므로 처음 생성 시 Amplitude에서 허용하는 명명규칙(숫자, 영문, 언더스코어, 하이픈만 허용)을 참고하시어 향후 변경하지 않을 값으로 지정이 필요합니다.4-3) 고객 그룹(Targeting) 정의하기[Audience]실험에 활용할 대안을 등록했다면, 누구를 대상으로 실험을 진행할 것인지 모수 집단을 선택하실 수 있습니다. All Users를 선택하여 전체 고객을 모수 집단으로 선정할 수 있으며, Target Users를 선택하여 특정 모수집단을 Segment로 정의할 수 있습니다.[Distribution]선정한 모수 집단을 각 대안에 어느 정도 비율로 할당 할것인지 지정할 수 있습니다. 기본 옵션인 evenly distribute로 동일한 비율로 지정하는 것을 권장 드리며, 원하실 경우 Customize 옵션으로 수동 설정이 가능합니다.(control로 할당되는 고객들은 실험에 참여는 하지만 실제로는 변경된 대안 UI가 노출되지 않는 그룹으로써, 대조군의 역할을 수행합니다.)[Rollout]지정하신 모수 집단 전체를 대상으로 실험을 수행하실 수도 있으나 그 중 일부를 대상으로만 진행하는 것도 가능합니다. Rollout 설정을 통해 전체 모수 집단 중 몇 %에 해당하는 고객들을 대상으로 실험을 진행할 것인지 범위를 지정할 수 있습니다.(Control vs. Rollout: control에 포함된 고객은 실험에 포함되어 향후 결과 분석 시 대조군 역할을 하지만, Rollout에서 제외된 고객은 실험 자체에 포함되지 않으므로 결과 또한 추적되지 않습니다.)5) 전달 구성5-1) Flag & Evaluation 정의Flag는 실험을 식별하는 고유 식별자로써, 실험을 생성하시는 시점에 key 항목으로 기입한 정보를 확인하실 수 있으며, 실험 시작 전까지는 변경이 가능합니다. 이 값은 SDK에서 실험 정보 요청에 사용(e.g.FLAG_KEY) 되므로 개발단에서 미리 정하신 값이 있다면 그 값으로, 없다면 여기에서 정의된 값으로 개발단의 코드 작업이 수행되어야 합니다.Evaluation Mode는 고객이 어떤 대안에 해당 되는지를 어디에서 계산할 것인지 선택하는 항목입니다. 일반적으로는 Amplitude에 수집된 정보를 실시간으로 확인하여 결정되나, 실시간 검토 방식은 통신 상의 약간의 딜레이(0.1~1초)가 발생하므로, 고객에게 즉각적으로 노출되어야 하는 UI에 대해서는 로컬에서 계산하는 방식을 선택하실 수도 있습니다.5-2) 배포 환경(Deployment) 선택지금까지 작성한 실험을 어떤 환경에 배포 할 것인지를 선택합니다. 특정 플랫폼이나 개발환경에만 적용하고자 하실 경우, 해당하는 deployment만 선택하여 배포가 가능합니다.6) 실험 시작모든 세팅을 완료했다면, 우측 상단 버튼을 이용하여 각 플랫폼 별로 적용할 수 있는 샘플 코드를 확인할 수 있습니다. 개발 담당자에게 해당 정보를 전달하여 적용을 요청할 수 있습니다.실험을 고객들에게 배포하기 전, 미리 등록해 둔 테스터만을 대상으로 선행적으로 배포가 가능하며, 예약 실행이나 feature flag만 활성화하고 실험 분석은 수행하지 않는 등 여러 옵션을 정의해 보실 수 있습니다.모든 사항의 확인이 완료되었다면, 최종적으로 Start Experiment를 클릭하여 실험 시작이 가능합니다. 실험을 종료할 때에는 초기 버전으로 롤백을 할 것인지, 아니면 특정 대안( Variant )으로 적용할 것인지 선정하여 실험을 마칠 수 있습니다.실험이 진행되는 동안 발생한 실험 참여(Assigentment), 실험 노출(Expouse) 및 목표로 잡은 정보들은 모두 고객별 프로필에 저장되므로 이를 기반으로 심층 분석(Analytics)을 바로 수행해 볼 수 있습니다. 또한, 처음 목표로 잡았던 것 이외에도 각 그룹별로 어떠한 변화가 있었는지 수집된 데이터를 기반으로 분석이 가능합니다.실험과 분석을 하나의 플랫폼 안에서실험과 데이터 분석은 이제 더 이상 따로 작업할 필요가 없습니다. 기존 A/B 테스트 도구들이 단순히 실험을 “실행”하는 데 집중했다면, Amplitude Feature Experiment는 실험 설계부터 분석, 최종 반영까지 추가적인 개발단 작업없이 한 번에 처리할 수 있는 실험 플랫폼 체계를 제공합니다.CUPED, Sequential Testing, Bonferroni 등 실험의 정확도를 높이는 기능이 기본으로 탑재되어 있어, 적은 트래픽으로도 빠르게 유의미한 결론을 얻을 수 있으며, Amplitude Analytics와 완벽히 연결되어 언제든 전환율,리텐션, 코호트 분석 등 심층적인 결과 분석을 바로 이어나갈 수 있습니다.또한 클라이언트 배포 없이, 서버-사이드 실험 연동을 지원하므로 고객들에게 끊김없는 실험 환경 제공이 가능합니다. 제품의 성과를 빠르게 검증하고, 그 결과를 정확히 해석해 다음 의사결정으로 이어가고 싶다면, Amplitude Feature Experiment는 더없이 강력한 선택이 될 것입니다.Feature Experiment 활용에 도움이 필요하나요?팀 맥소노미 Amplitude 도입문의 바로가기

Guides & Surveys: 사용자 행동과 피드백을 연결하는 가장 쉬운 방법

Guides & Surveys: 사용자 행동과 피드백을 연결하는 가장 쉬운 방법

고객들이 서비스에서 수행하는 행동만으로는 알 수 없는 ‘진짜 이유’, 어떻게 알 수 있을까?

[세션 스케치] 찾아가는 세미나 with Braze ─ CJ올리브영 편

[세션 스케치] 찾아가는 세미나 with Braze ─ CJ올리브영 편

팀 맥소노미와 Braze가 함께한 'CJ올리브영을 찾아가는 세미나' ─ 후기를 공유합니다.팀 맥소노미는 '데이터', 'DT'에 관심이 있는 기업을 직접 방문하여 맞춤형 데이터 활용 전략과 업계의 유즈 케이스를 전달하는 '찾아가는 세미나'를 정기적으로 진행하고 있습니다.이번 찾아가는 세미나는 Braze의 전략 컨설팅 VP, Mariam Asmar(마리암 아스마르)님께서 함께해 주셨는데요. CJ올리브영 임직원 분들을 찾아뵙고 "BEAUTY INDUSTRY GROWTH STRATEGY"를 주제로 글로벌 뷰티 산업에서 창의적인 마케팅 캠페인 전략을 통해 고객 경험과 브랜드 충성도를 높인 다양한 사례를 공유해 주셨습니다. 한시도 눈을 뗄 수 없었던 흥미로운 사례와 이를 통해 공유주신 주요 인사이트를 정리해 보았습니다. 1. 데이터 기반의 맞춤형 마케팅Mariam님은 먼저 오프라인 데이터를 온라인에 통합한 창의적 마케팅 사례를 공유해 주셨습니다. 멕시코의 한 항공사 는 미국인들의 멕시코 여행을 장려하기 위해 DNA 테스트를 통해 멕시코 혈통의 비율에 따라 항공권 할인 혜택을 제공했고, 캠페인을 성공적으로 마무리했습니다. 이를 통해 재미와 참여를 유도하고 국가 간의 심리적 장벽을 효과적으로 허물 수 있었습니다.또한 다른 사례로 아르헨티나의 한 유명 배달앱 사례를 공유 주셨는데요. 축구를 사랑하는 아르헨티나 국민들의 관심사를 이용하여 월드컵 우승 트로피의 비행 경로를 앱 알림을 통해 실시간으로 공유했고, 엄청난 바이럴 효과를 거두었습니다. 2022년 FIFA 월드컵에서 아르헨티나가 우승한 후, 실제 우승 트로피가 아르헨티나로 돌아오는 여정을 실시간으로 추적하여 공유하여 팬들과의 소통을 강화한 것이죠. 이러한 사례들은 브랜드가 대중의 관심을 끄는 이벤트와 연계하여 실시간 정보를 제공함으로써 사용자 참여를 유도하고 브랜드 인지도를 높이는 효과적인 마케팅 전략으로 평가받고 있습니다.2. 오프라인은 디지털로 가는 입구가장 최근 뷰티 리테일 업계의 핵심 이슈 중 하나는 온·오프라인 고객 경험의 통합 전략입니다. Mariam님은 고객이 해외여행 시 현지와 글로벌 앱 간의 전환 문제를 해결하기 위해 매장 내 QR코드를 활용한 앱 다운로드 유도, 현지 특화 혜택 제공과 같은 구체적인 방법을 제안했습니다.또한, 고객 경험의 단순한 온·오프라인 통합이 아닌, 개인화가 함께 이루어지는 것의 중요성을 강조하였습니다. Braze를 사용하는 한 뷰티 앱은, 매장 내 피부 진단 기기를 통한 개인 맞춤형 제품 추천 서비스를 제공하고 있는데요. 해당 사례를 통해 고객의 만족도와 개인화를 강화하는 전략을 살펴볼 수 있었습니다.인플루언서 마케팅을 통해 고객 인게이지먼트를 높이는 전략도 다뤘습니다. 뷰티 산업에는 인플루언서의 영향력이 큰 만큼 고려해볼만한 전략인데요. 고객들이 앱 내에서 특정 미션이나 도전을 완료하면 인플루언서들과 함께 하는 특별한 여행이나 이벤트 참여 기회를 제공하는 등 시도해볼 수 있는 다양한 방식이 있습니다.3. 스토리텔링과 유머를 결합한 브랜딩Mariam님은 고객 채널을 통해 스토리텔링과 게임 요소를 결합하여 고객과 소통하는 캠페인도 제안했습니다. 뷰티 업계에서 특히 효과적인 전략인데요. VIP 고객이나 인플루언서를 대상으로 차별화되고 흥미로운 경험을 제공하는 데 효과적일 가능성이 높습니다.사례로 소개해주신 '도플갱어 이메일' 캠페인은 이메일 마케팅이 얼마나 창의적이고 효과적일 수 있는지를 잘 보여주었습니다. 도플갱어 이메일 캠페인은 고객이 동시에 동일한 메뉴를 주문한 다른 고객을 찾아 연결해주는 독특한 이메일 캠페인으로, 높은 오픈율과 매출 증대를 기록했습니다.4. 팬덤과 게임화(게이미피케이션)의 융합인플루언서 마케팅도 단순 노출에서 참여형 콘텐츠로 진화하고 있습니다. 고객이 직접 캠페인에 참여하고 포인트를 쌓거나 가상의 미션을 수행해 인플루언서 트립과 같은 보상을 받는 구조입니다. 이런 방식은 뷰티, 게임, 엔터테인먼트 산업에서 특히 효과적이며 평범한 '소비자'를 브랜드의 '팬'으로 진화시키는 역할을 한다고 합니다. 국내에는 주로 카카오톡을 활용하여, 친구 간의 경쟁이나 최대한 많이 공유하기를 유도하는 식으로 고객 채널과 게임화를 결합한 캠페인을 진행하는데요. 이런 독톡한 사례를 참고하여, 뷰티 업계의 특성에 맞는 창의적인 캠페인을 기획해볼 수 있을 것 같습니다.마치며이 외에도 다양한 사례를 통해 글로벌 뷰티 업계가 고객 참여와 개인화를 극대화하기 위해 얼마나 다양하고 창의적인 전략을 사용할 수 있는지 확인할 수 있었습니다.가령, 침대 매트리스 프로모션을 위해 한밤중에 "자니?"라는 메시지를 발송한 캠페인은 고객과의 유머러스한 소통을 통해 브랜드 친밀감을 높이고 매출 증대 효과를 거둔 사례로 소개되기도 하였습니다.종합해보면, 요즘 마케팅의 공식은 "데이터 + 크리에이티브 + 유머 + 참여" 네 키워드로 정리할 수 있을 것 같습니다.각 브랜드가 자신만의 언어로 고객과 소통하려면 무엇을 바꿔야 하는지 많은 고민을 하게 했던 시간이었는데요. 더불어 국내에서도 이런 유쾌한 실험들이 더 많아지면 좋겠다는 작은 바람이 들기도 했습니다.산업별 특성에 맞는 혁신적인 전략과 보다 창의적인 아이디어를 통해 고객 경험과 브랜드 가치를 더욱 높여가실 수 있는 계기가 되셨기를 바라며 이만 후기를 마치겠습니다. 😊팀 맥소노미의 '찾아가는 세미나'란?CJ올리브네트웍스의 디지털 마케팅 전문가 그룹 팀 맥소노미가 '데이터'와 '마케팅', 'DT'에 관심있는 기업의 담당자 분들을 직접 찾아뵙고 진행하는 완전 맞춤형 세미나입니다.우리 기업에 딱 맞는 데이터 활용 전략 은 무엇인지, 다른 기업에서는 어떻게 데이터를 활용하고 있는지 유즈케이스가 궁금하시다면 팀 맥소노미에게 연락주세요. 원하시는 그 곳으로 달려가겠습니다!🤗💌 팀 맥소노미의 찾아가는 세미나 문의: marketing@team.maxonomy.net

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

최근 여러 기업에서 개인정보 유출 사고가 발생 중인 상황에서 기업은 어떻게 대응해야 할까? DX와 AX의 흐름 속 개인정보 보호가 나아가야 할 방향.

더맥소노미2024 세션 스케치 일곱 번째 포스트입니다. 

이번 세션 스케치는 배달의민족을 서비스하는 '우아한형제들'이 AI를 어떻게 활용해서 시스템에 녹이고 고객경험을 개선하였는지 자세히 알아보도록 하겠습니다. 


 


 

The MAXONOMY 2024 는 지난 11월 28일, 롯데호텔월드 크리스탈볼룸에서 개최된, 데이터 마케팅 솔루션 전문가 팀 맥소노미가 주최하는 연례 마테크 컨퍼런스로, 국내외 마테크, 애드테크 솔루션사 및 국내 최정상 기업의 마케팅, 데이터 담당자 분들과 함께 데이터를 활용한 마케팅 성공 사례와 인사이트, 트렌드 등을 공유하는 자리입니다.


금번 컨퍼런스에는 1천여 명의 마케터, 비즈니스 리더, 프로덕트 매니저 분들께서 참석해 주셨으며, 총 21명의 연사분들께서 'Further Steps of Data Marketing'을 주제로 생생한 데이터 활용 전략과 사례, 노하우를 공유해 주셨습니다.




 

 

 

 

 




생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

우아한형제들 | 이봉호 데이터사이언티스트


 

 








AI & CX(Customer Experience)


먼저, 이봉호님은 우아한형제들의 데이터 과학자로서 마케팅 성과분석, KPI 수립, 수요예측, 인과추론 등의 업무를 수행하고 있으십니다. 그리고 최근에는 AI를 비즈니스에 적용하는 방법을 찾는 업무를 수행했다고 합니다. AI와 CX는 서로 뗄래야 뗄 수 없는 관계인데요. CX의 프레임워크에는 고객, 전략, 마케팅, 프로세스 등 여러가지 요소가 있고 그중 시스템은 CX의 핵심 요소이자 AI와도 관련된 부분이기 때문입니다.

 

 







Data Centric Approach


AI 트렌드


최근 많은 빅테크 기업이 앞다투어 LLM(대규모 언어 모델)을 출시하고 데이터센터를 건설하는 등 AI 분야에 많은 투자를 하고 있습니다. 왜 많은 테크 기업이 AI에 투자하고 이에 유저들이 환호하고 있는 것일까요? 이봉호님께서는 '활용처를 고민할 필요가 없기 때문'이라고 말합니다. 다른 서비스와 다르게 LLM은 다양한 명령어를 통해 다양한 목적에 활용할 수 있기 때문인데요. 그렇다면 모든 회사는 경쟁력을 위해 생성형 AI를 만들어야할까라는 생각이 들 수도 있지만, 사실 쉽지 않은 일입니다. 우선 초기 훈련 비용만 100만달러, 한화 약 1,300억 원이 들어가며 이후 관리하고 개선하는데 훨씬 더 많은 비용이 발생합니다.


그래서 많은 기업에서 산업별 특화된 AI를 개발하는 전략을 취하고 있습니다. 대형 모델을 개발하는 것보단 비용이 저렴하며, 특정 사용 목적에 훨씬 용의할 수 있기 때문이죠. 여기까지 듣다보면, 나도 앞으로 변화하는 AI시대에 적응하기 위해 AI 개발을 배워야하는 생각이 들 수도 있지만, 전혀 그럴 필요가 없습니다. 그 이유는 포스팅 끝 부분에서 확인할 수 있습니다!



 




우리는 데이터를 제대로 활용하고 있는가


우리는 BPS, 리텐션, 이탈률 등의 지표를 사용해서 마케팅 성과를 측정하고 있습니다. 이런 지표가 의미없는 것은 아니지만, 최근 연구에 의하면 이 보다 더 강력한 방법이 있습니다. 그것은 바로 데이터를 여러 측면에서 반복해서 관찰하고 측정하는 것입니다. 이 방법을 사용하면 기존에 발견하지 못했던 개선점을 발견할 수 있을뿐만 아니라, 심지어 브랜딩 성과까지도 측정 가능하다고 합니다. 브랜딩은 성격상 그 성과를 측정할 수 없다는 것이 지금까지 마케팅에서의 통용되던 생각이었지만, 해당 브랜드가 온오프라인에 반복해서 관찰 가능한지 측정하여 그 성과를 측정할 수 있다고 합니다.


KDD 2021 스포티파이 세션에서는 스포티파이가 고객 경험을 개선할 수 있었던 방법을 공유되었는데요. 여기서도 마찬가지로 고객이 반복적으로 보여주는 태도를 측정하고 고민하여 KPI를 찾고 그 KPI를 달성하니 고객 경험이 실제로 개선되었다고 설명합니다.



 




Data Centric Approach


AI 컴포넌트는 크게 3가지로 나눌 수 있는데요. Data(데이터), Model(모델), Operation(오퍼레이션)입니다. 데이터, 모델, 오퍼레이션의 각 관점에서 고객경험을 어떻게 정의하고 어떻게 매칭 시키냐에 따라서 AI프로덕트를 활용한 고객 경험 개선과 변화 정도가 달라지는데요. 사실 지금까지는 이 중 모델에 대한 투자가 활발했던 경향이 있습니다. 빅테크만큼 투자여력이 있다면 모델에 투자하는 것은 합리적일 수 있습니다. 투자한 만큼 성능을 보여주니까요. 하지만 시간이 지나면 개발에 필요한 시간이 기하급수적으로 증가하고 성능 개선에 한계가 발생합니다.


그래서 이봉호님이 제안하는 것은 데이터에 대한 투자입니다. 이를 두고 앤드류 응 고수는 'Data Centric Approach'라고 명명했는데요. 데이터를 중심으로 접근하는 것을 말합니다. 더 자세히는 데이터의 양과 질에 집중해서 문제를 개선하는 것을 말합니다. 많은 기업이 자사에는 많은 데이터가 있다고 자부하는 경향이 있는데요. 하지만 이는 보통 운영 데이터를 두고 말하는 경우가 많습니다. 운영데이터와 학습 데이터는 질적인 측면에서 다르다고 할 수 있습니다. 같은 목적인 데이터끼리 묶어주거나 오답이 있는지 확인해보는 절차 즉, 관점이 포함되는지가 중요합니다. 물론 많은 비용을 들여서 데이터의 질을 무시하고 많은 양의 데이터를 중심으로 AI를 개발할 수도 있습니다. 하지만 그만큼 많은 비용이 들어갈 것이고, 그 비용대비 유의미한 효과를 거두는 것은 상당이 어려운 일입니다.










 

마라순두부는 한식일까 중식일까


배민 검색창 개선하기


이봉호님은 어느날 배달의민족 검색 기능이 굉장히 약하다는 것을 인지하였다고 합니다. 예를들어 짜장면을 먹고 싶어서 검색창에 '짜장면'이라고 검색을 하였는데 짬짜면, 불타는 쫘장, 달달짭짤면 등과 같이 가게 사장님이 설정한 자유로운 명칭의 짜장면이 검색되지 않았던 것이죠. 이에 이봉호님은 배민에서 판매되는 모든 종류의 메뉴를 카테고라이징해보자고 제안하였습니다. 정말 특이한 음식을 제외한다면 어느 정도 큰 틀 안에서 분류가 가능할 것이고 검색기능 개선, 메뉴별 통계 등 여러가지 유의미한 성과를 달성할 수 있을 것이라고 생각했습니다.


하지만 이 작업을 사람이 수동으로 한다고 계산하면 10명이서 2년 정도 걸리는 일이었다고 합니다. 시간과 비용이 엄청나게 소모되는 일이었는데요. 이에 NLP(Natural Language Processing)를 적용한 머신러닝 기술을 활용하여 카테고리 분류 작업을 하였고, 그 결과 MM(Man Month) 기준으로 93.65% 나 절감할 수 있었다고 합니다.



 




관점이 중요하다


해당 프로젝트 초기에는 고객에게 나가는 데이터인데 AI가 판단한 결과를 어떻게 믿고 사용하냐는 이야기를 많이 들었다고 합니다. 그래서 프로젝트 초기에는 AI가 판단했을 떄 정답일 확률 99%인 것만 반영하고 나머지는 사람이 검사하는 방식으로 진행하였다고 합니다. 이후 사람의 오류 확률과 AI의 오류 확률을 비교해서 설득력을 얻고 자동화 레벨을 점차 올릴 수 있었고 해당 성과를 만들 수 있었다고 합니다.


물론 AI가 만능은 아닙니다. 돼지김치찌개를 돼지고기랑 김치찌개 중 어떤 것으로 분류할지에 대해 사람은 '둘다 하면되지'라고 쉽게 결론 지을 수 있지만 AI는 그렇지 않습니다. 여러가지 결론을 도출하라는 관점을 주입받지 못했기 때문입니다. 관점이라는 것은 AI를 통해 해결하고자하는 답의 방향을 말합니다. 그 답은 경영에서 MECE의 조건을 갖추면서, 복잡하지 않아서 AI에게 쉽게 전달해줄 수 있어야 합니다. 그런 관점을 명확하게 갖추면 AI 개발에 많은 돈을 투자할 필요가 없다고 합니다.


실제로 검색창 개선을 프로젝트 시간의 70% 가량은 돼지김치찌개가 돼지고기인지 김치찌개인지 싸우는 것으로 보냈다고 합니다. 모델 개발에 투자하는 것보다 이런 근본적인 데이터 관점을 먼저 해결하는 것이 효율적 일 수 있습니다. 

 






 




결국 인간이다



Chat GPT의 오픈 AI가 캐냐의 노동자에게 2달러 미만의 시급을 주고 RLHF(Reinforcement Learning with Human Feedback)를 활용하고 있다는 기사를 보신 적 있나요? RLHF는 '인간 피드백을 통한 강화 학습'이라는 뜻으로 쉽게 말해 사람이 반복해서 AI 생성물에 피드백을 줌으로써 AI 성능을 개선하는 것을 말하는데요.


윤리적 논란 등을 뒤로 하고 여기서 얻을 수 있는 사실은 오픈AI처럼 앞서나가는 AI기업에도 결국 사람이 필요하다는 것입니다. 데이터를 가지고 어떤 답이 나오기를 바라고 어떤 비즈니스 임펙트를 만들고 싶은지 고민하고 데이터 거버넌스를 수립할 필요가 있습니다. 데이터를 생성하는 것도 소비하는 것도 활용하는 것도 인간이기 때문에 굳이 만능 AI를 사용하지 않고 최소한의 모델을 활용해서 문제를 해결할 수 있습니다. 고객으로부터 발생한 데이터를 통해 고객 경험을 개선하는 것도 마찬가지겠지요.

 




 

📺 우아한형제들의 데이터 마케팅 이야기 전체 영상 보러가기







팀 맥소노미와 글로벌 마테크 & 애드테크 솔루션사, 그리고 국내 최정상 기업이 함께했던 The MAXONOMY 2024의 모든 세션은 더맥소노미2024 다시보기에서 확인하실 수 있습니다. 더맥소노미2024를 통해 그동안의 고민이 조금은 가벼워지셨기를 바라며, 더맥소노미는 더욱 유익한 인사이트와 정보로 다시 찾아뵙겠습니다.

 

 

 

인공지능(AI), 데이터 분석, 예측, 우아한형제들