로그인

이벤트

[더맥소노미2024 세션 스케치VII] 생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

Team MAXONOMY ・ 2024.02.28

[더맥소노미2024 세션 스케치VII] 생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

더맥소노미2024 세션 스케치 일곱 번째 포스트입니다.

이번 세션 스케치는 배달의민족을 서비스하는 '우아한형제들'이 AI를 어떻게 활용해서 시스템에 녹이고 고객경험을 개선하였는지 자세히 알아보도록 하겠습니다.


The MAXONOMY 2024 는 지난 11월 28일, 롯데호텔월드 크리스탈볼룸에서 개최된, 데이터 마케팅 솔루션 전문가 팀 맥소노미가 주최하는 연례 마테크 컨퍼런스로, 국내외 마테크, 애드테크 솔루션사 및 국내 최정상 기업의 마케팅, 데이터 담당자 분들과 함께 데이터를 활용한 마케팅 성공 사례와 인사이트, 트렌드 등을 공유하는 자리입니다.


금번 컨퍼런스에는 1천여 명의 마케터, 비즈니스 리더, 프로덕트 매니저 분들께서 참석해 주셨으며, 총 21명의 연사분들께서 'Further Steps of Data Marketing'을 주제로 생생한 데이터 활용 전략과 사례, 노하우를 공유해 주셨습니다.






생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

우아한형제들 | 이봉호 데이터사이언티스트









AI & CX(Customer Experience)


먼저, 이봉호님은 우아한형제들의 데이터 과학자로서 마케팅 성과분석, KPI 수립, 수요예측, 인과추론 등의 업무를 수행하고 있으십니다. 그리고 최근에는 AI를 비즈니스에 적용하는 방법을 찾는 업무를 수행했다고 합니다. AI와 CX는 서로 뗄래야 뗄 수 없는 관계인데요. CX의 프레임워크에는 고객, 전략, 마케팅, 프로세스 등 여러가지 요소가 있고 그중 시스템은 CX의 핵심 요소이자 AI와도 관련된 부분이기 때문입니다.







Data Centric Approach


AI 트렌드


최근 많은 빅테크 기업이 앞다투어 LLM(대규모 언어 모델)을 출시하고 데이터센터를 건설하는 등 AI 분야에 많은 투자를 하고 있습니다. 왜 많은 테크 기업이 AI에 투자하고 이에 유저들이 환호하고 있는 것일까요? 이봉호님께서는 '활용처를 고민할 필요가 없기 때문'이라고 말합니다. 다른 서비스와 다르게 LLM은 다양한 명령어를 통해 다양한 목적에 활용할 수 있기 때문인데요. 그렇다면 모든 회사는 경쟁력을 위해 생성형 AI를 만들어야할까라는 생각이 들 수도 있지만, 사실 쉽지 않은 일입니다. 우선 초기 훈련 비용만 100만달러, 한화 약 1,300억 원이 들어가며 이후 관리하고 개선하는데 훨씬 더 많은 비용이 발생합니다.


그래서 많은 기업에서 산업별 특화된 AI를 개발하는 전략을 취하고 있습니다. 대형 모델을 개발하는 것보단 비용이 저렴하며, 특정 사용 목적에 훨씬 용의할 수 있기 때문이죠. 여기까지 듣다보면, 나도 앞으로 변화하는 AI시대에 적응하기 위해 AI 개발을 배워야하는 생각이 들 수도 있지만, 전혀 그럴 필요가 없습니다. 그 이유는 포스팅 끝 부분에서 확인할 수 있습니다!






우리는 데이터를 제대로 활용하고 있는가


우리는 BPS, 리텐션, 이탈률 등의 지표를 사용해서 마케팅 성과를 측정하고 있습니다. 이런 지표가 의미없는 것은 아니지만, 최근 연구에 의하면 이 보다 더 강력한 방법이 있습니다. 그것은 바로 데이터를 여러 측면에서 반복해서 관찰하고 측정하는 것입니다. 이 방법을 사용하면 기존에 발견하지 못했던 개선점을 발견할 수 있을뿐만 아니라, 심지어 브랜딩 성과까지도 측정 가능하다고 합니다. 브랜딩은 성격상 그 성과를 측정할 수 없다는 것이 지금까지 마케팅에서의 통용되던 생각이었지만, 해당 브랜드가 온오프라인에 반복해서 관찰 가능한지 측정하여 그 성과를 측정할 수 있다고 합니다.


KDD 2021 스포티파이 세션에서는 스포티파이가 고객 경험을 개선할 수 있었던 방법을 공유되었는데요. 여기서도 마찬가지로 고객이 반복적으로 보여주는 태도를 측정하고 고민하여 KPI를 찾고 그 KPI를 달성하니 고객 경험이 실제로 개선되었다고 설명합니다.






Data Centric Approach


AI 컴포넌트는 크게 3가지로 나눌 수 있는데요. Data(데이터), Model(모델), Operation(오퍼레이션)입니다. 데이터, 모델, 오퍼레이션의 각 관점에서 고객경험을 어떻게 정의하고 어떻게 매칭 시키냐에 따라서 AI프로덕트를 활용한 고객 경험 개선과 변화 정도가 달라지는데요. 사실 지금까지는 이 중 모델에 대한 투자가 활발했던 경향이 있습니다. 빅테크만큼 투자여력이 있다면 모델에 투자하는 것은 합리적일 수 있습니다. 투자한 만큼 성능을 보여주니까요. 하지만 시간이 지나면 개발에 필요한 시간이 기하급수적으로 증가하고 성능 개선에 한계가 발생합니다.


그래서 이봉호님이 제안하는 것은 데이터에 대한 투자입니다. 이를 두고 앤드류 응 고수는 'Data Centric Approach'라고 명명했는데요. 데이터를 중심으로 접근하는 것을 말합니다. 더 자세히는 데이터의 양과 질에 집중해서 문제를 개선하는 것을 말합니다. 많은 기업이 자사에는 많은 데이터가 있다고 자부하는 경향이 있는데요. 하지만 이는 보통 운영 데이터를 두고 말하는 경우가 많습니다. 운영데이터와 학습 데이터는 질적인 측면에서 다르다고 할 수 있습니다. 같은 목적인 데이터끼리 묶어주거나 오답이 있는지 확인해보는 절차 즉, 관점이 포함되는지가 중요합니다. 물론 많은 비용을 들여서 데이터의 질을 무시하고 많은 양의 데이터를 중심으로 AI를 개발할 수도 있습니다. 하지만 그만큼 많은 비용이 들어갈 것이고, 그 비용대비 유의미한 효과를 거두는 것은 상당이 어려운 일입니다.










마라순두부는 한식일까 중식일까


배민 검색창 개선하기


이봉호님은 어느날 배달의민족 검색 기능이 굉장히 약하다는 것을 인지하였다고 합니다. 예를들어 짜장면을 먹고 싶어서 검색창에 '짜장면'이라고 검색을 하였는데 짬짜면, 불타는 쫘장, 달달짭짤면 등과 같이 가게 사장님이 설정한 자유로운 명칭의 짜장면이 검색되지 않았던 것이죠. 이에 이봉호님은 배민에서 판매되는 모든 종류의 메뉴를 카테고라이징해보자고 제안하였습니다. 정말 특이한 음식을 제외한다면 어느 정도 큰 틀 안에서 분류가 가능할 것이고 검색기능 개선, 메뉴별 통계 등 여러가지 유의미한 성과를 달성할 수 있을 것이라고 생각했습니다.


하지만 이 작업을 사람이 수동으로 한다고 계산하면 10명이서 2년 정도 걸리는 일이었다고 합니다. 시간과 비용이 엄청나게 소모되는 일이었는데요. 이에 NLP(Natural Language Processing)를 적용한 머신러닝 기술을 활용하여 카테고리 분류 작업을 하였고, 그 결과 MM(Man Month) 기준으로 93.65% 나 절감할 수 있었다고 합니다.






관점이 중요하다


해당 프로젝트 초기에는 고객에게 나가는 데이터인데 AI가 판단한 결과를 어떻게 믿고 사용하냐는 이야기를 많이 들었다고 합니다. 그래서 프로젝트 초기에는 AI가 판단했을 떄 정답일 확률 99%인 것만 반영하고 나머지는 사람이 검사하는 방식으로 진행하였다고 합니다. 이후 사람의 오류 확률과 AI의 오류 확률을 비교해서 설득력을 얻고 자동화 레벨을 점차 올릴 수 있었고 해당 성과를 만들 수 있었다고 합니다.


물론 AI가 만능은 아닙니다. 돼지김치찌개를 돼지고기랑 김치찌개 중 어떤 것으로 분류할지에 대해 사람은 '둘다 하면되지'라고 쉽게 결론 지을 수 있지만 AI는 그렇지 않습니다. 여러가지 결론을 도출하라는 관점을 주입받지 못했기 때문입니다. 관점이라는 것은 AI를 통해 해결하고자하는 답의 방향을 말합니다. 그 답은 경영에서 MECE의 조건을 갖추면서, 복잡하지 않아서 AI에게 쉽게 전달해줄 수 있어야 합니다. 그런 관점을 명확하게 갖추면 AI 개발에 많은 돈을 투자할 필요가 없다고 합니다.


실제로 검색창 개선을 프로젝트 시간의 70% 가량은 돼지김치찌개가 돼지고기인지 김치찌개인지 싸우는 것으로 보냈다고 합니다. 모델 개발에 투자하는 것보다 이런 근본적인 데이터 관점을 먼저 해결하는 것이 효율적 일 수 있습니다.









결국 인간이다



Chat GPT의 오픈 AI가 캐냐의 노동자에게 2달러 미만의 시급을 주고 RLHF(Reinforcement Learning with Human Feedback)를 활용하고 있다는 기사를 보신 적 있나요? RLHF는 '인간 피드백을 통한 강화 학습'이라는 뜻으로 쉽게 말해 사람이 반복해서 AI 생성물에 피드백을 줌으로써 AI 성능을 개선하는 것을 말하는데요.


윤리적 논란 등을 뒤로 하고 여기서 얻을 수 있는 사실은 오픈AI처럼 앞서나가는 AI기업에도 결국 사람이 필요하다는 것입니다. 데이터를 가지고 어떤 답이 나오기를 바라고 어떤 비즈니스 임펙트를 만들고 싶은지 고민하고 데이터 거버넌스를 수립할 필요가 있습니다. 데이터를 생성하는 것도 소비하는 것도 활용하는 것도 인간이기 때문에 굳이 만능 AI를 사용하지 않고 최소한의 모델을 활용해서 문제를 해결할 수 있습니다. 고객으로부터 발생한 데이터를 통해 고객 경험을 개선하는 것도 마찬가지겠지요.




📺 우아한형제들의 데이터 마케팅 이야기 전체 영상 보러가기






팀 맥소노미와 글로벌 마테크 & 애드테크 솔루션사, 그리고 국내 최정상 기업이 함께했던 The MAXONOMY 2024의 모든 세션은 더맥소노미2024 다시보기에서 확인하실 수 있습니다. 더맥소노미2024를 통해 그동안의 고민이 조금은 가벼워지셨기를 바라며, 더맥소노미는 더욱 유익한 인사이트와 정보로 다시 찾아뵙겠습니다.

logo

팀맥소노미

YOUR DIGITAL MARKETING HERO

비즈니스 성장을 위한 최적의 솔루션과 무료 데모 시연, 활용 시나리오를 제안 받아보세요

관련 글 보기

AI 시대 속 개인정보 보호 - 1단계 인식변화

AI 시대 속 개인정보 보호 - 1단계 인식변화

AI·DX 시대, 글로벌 기업의 개인정보 보호 전략과 모범 사례를 소개합니다.(MS, 에어비앤비, 세일즈포스, 웰스파고)

A/B테스트 개념과 데이터 분석 방법🔍

A/B테스트 개념과 데이터 분석 방법🔍

A/B 테스트는 두 가지 혹은 그 이상의 서로 다른 버전(Variant)을 비교하여 어느 쪽이 더 나은 성과를 내는지 판단하는 실험 기법입니다.

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

여러분의 고객 데이터는 안전한가요? (feat. DX·AX)

최근 여러 기업에서 개인정보 유출 사고가 발생 중인 상황에서 기업은 어떻게 대응해야 할까? DX와 AX의 흐름 속 개인정보 보호가 나아가야 할 방향.

B급 감성 마케팅이 온다

B급 감성 마케팅이 온다

B급 감성이란?혜성처럼 등장한 B급 감성은 많은 산업과 분야에 영향을 미치고 있습니다. B급의 사전적 의미는 ‘완벽함을 추구하는 것보단, 투박하고 엉성한 스타일을 추구하는 것’입니다. 이런 B급 감성은 소비자가 손쉽게 친근감을 느낄 수 있어, 특히 마케팅 분야에서 많이 시도하는데요.한때 모두가 B급감성을 지향하던 시기가 있을 정도로 그 파급력이 강력했습니다. 하지만 B급 감성을 마케팅에 적절히 활용하기란 여간 까다로운 것이 아닙니다. 잘못된 B급 감성의 적용은 자칫 브랜드 자체를 B급으로 만들어 버릴 수도 있기 때문입니다.B급 감성 마케팅은 모두가 완벽해지고 싶어하는 가운데 일부러 허술함을 표현합니다. 이것은 비슷한 기성품들 사이 차별화를 부각시킴과 동시에, 독보적이고 특별함을 보여줄 수 있는 장점을 가지고 있습니다. 또한 완벽하지 않은 모습에 소비자들이 마음을 조금더 손쉽게 열 수 있는 친근한 접근 방식이죠.하지만 잊지마세요. 오늘 맥사이트픽에서 이야기해볼 ‘B급 감성 마케팅’은 결코 단어 그대로의 B급을 의미하지 않습니다. B급이란 이름표를 달고 있고, 그래서 어딘가 B급처럼 보이긴 하지만 사람들의 마음을 움직이는 힘을 가지고 있는 마케팅이 우리가 추구하는 진정한 B급 감성 마케팅입니다.실제로는 SS급 역할을 해주었을 때, 비로소 B급 감성 마케팅이라 부를 수 있다는 점을 명심하세요! 무조건 B급의 소재를 브랜드와 결합시켰다고 해서 B급 감성 마케팅으로 볼 수 없습니다.B급 감성을 살린 마케팅Dollar Shave Club: 우리 면도날은 끝내주게 좋습니다.출처: DollarShaveClub 유튜브 | Our Blades Are F***ing Great면도기 및 미용용품 구독 서비스를 제공하는 Dollar Shave Club은 저예산 B급 감성의 유튜브 광고 영상을 제작하여 큰 주목을 받았습니다.문을 통과할 때 종이가 엉성하게 뜯기고, 테이프는 제대로 잘리지 않고, 택배 상자 패스를 놓치는 등 실수를 의도적으로 활용하여 웃음을 주면서도 인간적인면을 부각시키는 광고였습니다.굉장히 단순한 촬영과, 현실적인 메시지에 곁들인 유머러스한 대사가 오히려 화려한 광고들보다 특별해보입니다. 이를 곧 친밀감으로 연결할 수 있다는게 B급 감성 마케팅의 힘입니다.이 광고가 그리 특별해보이지 않은 사람도 있을 것입니다. 이미 많이 본 컨셉이라고 하면서 말이죠. 하지만 이 광고가 13년 전인 2012년에 나왔다는 점을 감안했을 때, 당시 얼마나 신선하고 충격적이었을지 상상조차 안됩니다.해당 광고는 공개 후 약 48시간만에 12,000명 이상의 신규 가입자를 유치했고, 이후 영국의 생활 용품 기업 ‘유니레버’에 10억달러에 인수되는 성과를 만들었습니다.CJ 제일제당: 육수커플출처: CJ제일제당 육수커플 유튜브 | 우리 결혼했어요 육수커플최근 제일제당에서는 편의형 코인육수의 신제품인 ‘바지락멸치 맛 1분링’을 출시했습니다. 해당 제품 홍보를 위해 ‘1분링’ 캠페인을 진행 중인데요. 광고 스토리가 정말 재밌습니다.배우 변요한·차주영이 몰던 차량이 강에 빠지자 강물이 육수로 가득 우러나고, 잠시 후 폭발하는 자신의 집을 바라보며 미소를 짓는 두 사람의 모습으로 끝이납니다.B급이라는 표현으로도 부족한 황당한 전개에 과장된 슬로모션까지 더해 광고는 처음부터 끝까지 절대 B급이라는 프레임을 벗어나지 않기 위해 노력합니다. 또한 이런 B급광고에 어울리지 않는 정극 배우들을 모델로 선정하여, 부조화를 이루고 있죠.이런 부조화가 오히려 신선하고 재밌게 다가오며, 소비자로부터 뜨거운 반응을 이끌고 있습니다.우리가 B급 감성을 사랑하는 이유이런 B급 감성의 광고가 소비자의 마음을 움직이는 이유는 뭘까요?익숙하게 자리한 밈(meme) 문화가 밑바탕이 되어있기 때문이라고 설명할 수 있습니다. 밈은 반복과 자가복제 즉 패러디가 핵심인데 B급 콘텐츠는 이러한 이야기 형식에 딱 들어 맞습니다. 한 번 웃기면 빠르게 퍼지고, 재생산되며, 비슷하지만 어딘가 새로운 또 다른 유행을 만들어냅니다.여기에 전형적인 광고의 모습이 아닌 마치 TV드라마의 한 장면같은 구성은 광고에 대한 거부감을 줄이는데 효과적인이면서, ‘B급이니까 광고더라도 그냥 재미로 한번 봐줘’ 의 뉘양스로 소비자에게 더 쉽게 다가갈 수 있었습니다.다만, B급 감성 마케팅을 시도해보고 싶다면 다음 3가지는 절대 피해야만 합니다. 브랜드가 전달하려는 메시지를 방해한다면, B급 감성을 접목하지 말아야 합니다: 브랜드의 상품과 서비스가 B급으로 표현되면 안되는 분야가 있을 수 있습니다. 대표적으로, 사람의 생명을 다루는 의료 또는 의약 분야가 있죠. 이런 분야에서 B급 감성을 잘못 적용하면, 소비자에게 전달될 상품과 서비스의 메시지가 왜곡될 수 있고 이로인해 잘못된 소비자의 이해가 발생할 수 있습니다. 뿐만 아니라, 광고로 인한 사회적 논란이 생겨날 수 있습니다.과한 유머는 소비자의 불쾌감을 유발시킬 수 있습니다: 특정 집단을 대상으로 희화하거나, 적절한 정도를 넘어서는 유머는 대중을 대상으로 하는 광고에서 오히려 반감을 불러일으킬 수 있습니다.일관성있는 메시지와 브랜드의 가치 안에서 B급 감성이 들어있어야 합니다: 이전 포스트인 2025년 대통령 선거로 보는 마케팅 기술에서도 언급되었지만 브랜드의 일관성은 곧 소비자들의 신뢰도와 직결된 부분입니다. 우리의 메인 메시지와 정체성이 이어지지 않은 B급 감성 마케팅은 그저 ‘B급 감성을 위한 마케팅’이 될 것입니다.🚩맥소노미가 PICK한 이유대부분의 광고와 마케팅의 목적은 소비자에게 브랜드의 가치를 진정성있고 친근하게 전달하여 브랜드로 들어오는 유입 장벽을 낮추기 위함입니다. 그러나 이때, 브랜드와 어울리지 못한, 그리고 정도를 지나친 B급 감성 마케팅은 되려 소비자 마음의 문을 닫아버릴 수 있으니 다른 마케팅 전략보다 더욱 신중할 필요가 있습니다. 브랜드가 소비자에게 이야기하고 싶은 메시지를 잃지 않고서 B급 감성이 활용되어야 마케팅을 통한 진정한 B급을 만들어낼 수 있습니다. B급 감성은 처음에는 소비자들에게 어설퍼 보일 수 있지만, 실제로 이는 계산된 어설픔이라 결과적으로는 완벽하다는 메시지로 이어집니다. 그리고 장난처럼 보이지만 누구보다 진지하다는 것을 소비자들이 알수 있습니다. 소비자가 처음에는 가벼운 마음으로 B급 감성 마케팅을 받아들이지만 궁극적으로는 누구보다 진지하게 자신들의 가치를 전달하고 있는 브랜드의 감성을 제대로 이해해주었을 때 B급 감성이 제대로 성공했다고 볼 수 있을 것 입니다.

더맥소노미2024 세션 스케치 일곱 번째 포스트입니다. 

이번 세션 스케치는 배달의민족을 서비스하는 '우아한형제들'이 AI를 어떻게 활용해서 시스템에 녹이고 고객경험을 개선하였는지 자세히 알아보도록 하겠습니다. 


 

 

The MAXONOMY 2024 는 지난 11월 28일, 롯데호텔월드 크리스탈볼룸에서 개최된, 데이터 마케팅 솔루션 전문가 팀 맥소노미가 주최하는 연례 마테크 컨퍼런스로, 국내외 마테크, 애드테크 솔루션사 및 국내 최정상 기업의 마케팅, 데이터 담당자 분들과 함께 데이터를 활용한 마케팅 성공 사례와 인사이트, 트렌드 등을 공유하는 자리입니다.


금번 컨퍼런스에는 1천여 명의 마케터, 비즈니스 리더, 프로덕트 매니저 분들께서 참석해 주셨으며, 총 21명의 연사분들께서 'Further Steps of Data Marketing'을 주제로 생생한 데이터 활용 전략과 사례, 노하우를 공유해 주셨습니다.



 

 

 

 

 




생성 AI 시대에 고객경험 제고를 위한 AI프로덕트 활용법 가이드

우아한형제들 | 이봉호 데이터사이언티스트


 

 








AI & CX(Customer Experience)


먼저, 이봉호님은 우아한형제들의 데이터 과학자로서 마케팅 성과분석, KPI 수립, 수요예측, 인과추론 등의 업무를 수행하고 있으십니다. 그리고 최근에는 AI를 비즈니스에 적용하는 방법을 찾는 업무를 수행했다고 합니다. AI와 CX는 서로 뗄래야 뗄 수 없는 관계인데요. CX의 프레임워크에는 고객, 전략, 마케팅, 프로세스 등 여러가지 요소가 있고 그중 시스템은 CX의 핵심 요소이자 AI와도 관련된 부분이기 때문입니다.

 

 







Data Centric Approach


AI 트렌드


최근 많은 빅테크 기업이 앞다투어 LLM(대규모 언어 모델)을 출시하고 데이터센터를 건설하는 등 AI 분야에 많은 투자를 하고 있습니다. 왜 많은 테크 기업이 AI에 투자하고 이에 유저들이 환호하고 있는 것일까요? 이봉호님께서는 '활용처를 고민할 필요가 없기 때문'이라고 말합니다. 다른 서비스와 다르게 LLM은 다양한 명령어를 통해 다양한 목적에 활용할 수 있기 때문인데요. 그렇다면 모든 회사는 경쟁력을 위해 생성형 AI를 만들어야할까라는 생각이 들 수도 있지만, 사실 쉽지 않은 일입니다. 우선 초기 훈련 비용만 100만달러, 한화 약 1,300억 원이 들어가며 이후 관리하고 개선하는데 훨씬 더 많은 비용이 발생합니다.


그래서 많은 기업에서 산업별 특화된 AI를 개발하는 전략을 취하고 있습니다. 대형 모델을 개발하는 것보단 비용이 저렴하며, 특정 사용 목적에 훨씬 용의할 수 있기 때문이죠. 여기까지 듣다보면, 나도 앞으로 변화하는 AI시대에 적응하기 위해 AI 개발을 배워야하는 생각이 들 수도 있지만, 전혀 그럴 필요가 없습니다. 그 이유는 포스팅 끝 부분에서 확인할 수 있습니다!



 




우리는 데이터를 제대로 활용하고 있는가


우리는 BPS, 리텐션, 이탈률 등의 지표를 사용해서 마케팅 성과를 측정하고 있습니다. 이런 지표가 의미없는 것은 아니지만, 최근 연구에 의하면 이 보다 더 강력한 방법이 있습니다. 그것은 바로 데이터를 여러 측면에서 반복해서 관찰하고 측정하는 것입니다. 이 방법을 사용하면 기존에 발견하지 못했던 개선점을 발견할 수 있을뿐만 아니라, 심지어 브랜딩 성과까지도 측정 가능하다고 합니다. 브랜딩은 성격상 그 성과를 측정할 수 없다는 것이 지금까지 마케팅에서의 통용되던 생각이었지만, 해당 브랜드가 온오프라인에 반복해서 관찰 가능한지 측정하여 그 성과를 측정할 수 있다고 합니다.


KDD 2021 스포티파이 세션에서는 스포티파이가 고객 경험을 개선할 수 있었던 방법을 공유되었는데요. 여기서도 마찬가지로 고객이 반복적으로 보여주는 태도를 측정하고 고민하여 KPI를 찾고 그 KPI를 달성하니 고객 경험이 실제로 개선되었다고 설명합니다.



 




Data Centric Approach


AI 컴포넌트는 크게 3가지로 나눌 수 있는데요. Data(데이터), Model(모델), Operation(오퍼레이션)입니다. 데이터, 모델, 오퍼레이션의 각 관점에서 고객경험을 어떻게 정의하고 어떻게 매칭 시키냐에 따라서 AI프로덕트를 활용한 고객 경험 개선과 변화 정도가 달라지는데요. 사실 지금까지는 이 중 모델에 대한 투자가 활발했던 경향이 있습니다. 빅테크만큼 투자여력이 있다면 모델에 투자하는 것은 합리적일 수 있습니다. 투자한 만큼 성능을 보여주니까요. 하지만 시간이 지나면 개발에 필요한 시간이 기하급수적으로 증가하고 성능 개선에 한계가 발생합니다.


그래서 이봉호님이 제안하는 것은 데이터에 대한 투자입니다. 이를 두고 앤드류 응 고수는 'Data Centric Approach'라고 명명했는데요. 데이터를 중심으로 접근하는 것을 말합니다. 더 자세히는 데이터의 양과 질에 집중해서 문제를 개선하는 것을 말합니다. 많은 기업이 자사에는 많은 데이터가 있다고 자부하는 경향이 있는데요. 하지만 이는 보통 운영 데이터를 두고 말하는 경우가 많습니다. 운영데이터와 학습 데이터는 질적인 측면에서 다르다고 할 수 있습니다. 같은 목적인 데이터끼리 묶어주거나 오답이 있는지 확인해보는 절차 즉, 관점이 포함되는지가 중요합니다. 물론 많은 비용을 들여서 데이터의 질을 무시하고 많은 양의 데이터를 중심으로 AI를 개발할 수도 있습니다. 하지만 그만큼 많은 비용이 들어갈 것이고, 그 비용대비 유의미한 효과를 거두는 것은 상당이 어려운 일입니다.










 

마라순두부는 한식일까 중식일까


배민 검색창 개선하기


이봉호님은 어느날 배달의민족 검색 기능이 굉장히 약하다는 것을 인지하였다고 합니다. 예를들어 짜장면을 먹고 싶어서 검색창에 '짜장면'이라고 검색을 하였는데 짬짜면, 불타는 쫘장, 달달짭짤면 등과 같이 가게 사장님이 설정한 자유로운 명칭의 짜장면이 검색되지 않았던 것이죠. 이에 이봉호님은 배민에서 판매되는 모든 종류의 메뉴를 카테고라이징해보자고 제안하였습니다. 정말 특이한 음식을 제외한다면 어느 정도 큰 틀 안에서 분류가 가능할 것이고 검색기능 개선, 메뉴별 통계 등 여러가지 유의미한 성과를 달성할 수 있을 것이라고 생각했습니다.


하지만 이 작업을 사람이 수동으로 한다고 계산하면 10명이서 2년 정도 걸리는 일이었다고 합니다. 시간과 비용이 엄청나게 소모되는 일이었는데요. 이에 NLP(Natural Language Processing)를 적용한 머신러닝 기술을 활용하여 카테고리 분류 작업을 하였고, 그 결과 MM(Man Month) 기준으로 93.65% 나 절감할 수 있었다고 합니다.



 




관점이 중요하다


해당 프로젝트 초기에는 고객에게 나가는 데이터인데 AI가 판단한 결과를 어떻게 믿고 사용하냐는 이야기를 많이 들었다고 합니다. 그래서 프로젝트 초기에는 AI가 판단했을 떄 정답일 확률 99%인 것만 반영하고 나머지는 사람이 검사하는 방식으로 진행하였다고 합니다. 이후 사람의 오류 확률과 AI의 오류 확률을 비교해서 설득력을 얻고 자동화 레벨을 점차 올릴 수 있었고 해당 성과를 만들 수 있었다고 합니다.


물론 AI가 만능은 아닙니다. 돼지김치찌개를 돼지고기랑 김치찌개 중 어떤 것으로 분류할지에 대해 사람은 '둘다 하면되지'라고 쉽게 결론 지을 수 있지만 AI는 그렇지 않습니다. 여러가지 결론을 도출하라는 관점을 주입받지 못했기 때문입니다. 관점이라는 것은 AI를 통해 해결하고자하는 답의 방향을 말합니다. 그 답은 경영에서 MECE의 조건을 갖추면서, 복잡하지 않아서 AI에게 쉽게 전달해줄 수 있어야 합니다. 그런 관점을 명확하게 갖추면 AI 개발에 많은 돈을 투자할 필요가 없다고 합니다.


실제로 검색창 개선을 프로젝트 시간의 70% 가량은 돼지김치찌개가 돼지고기인지 김치찌개인지 싸우는 것으로 보냈다고 합니다. 모델 개발에 투자하는 것보다 이런 근본적인 데이터 관점을 먼저 해결하는 것이 효율적 일 수 있습니다. 

 






 




결국 인간이다



Chat GPT의 오픈 AI가 캐냐의 노동자에게 2달러 미만의 시급을 주고 RLHF(Reinforcement Learning with Human Feedback)를 활용하고 있다는 기사를 보신 적 있나요? RLHF는 '인간 피드백을 통한 강화 학습'이라는 뜻으로 쉽게 말해 사람이 반복해서 AI 생성물에 피드백을 줌으로써 AI 성능을 개선하는 것을 말하는데요.


윤리적 논란 등을 뒤로 하고 여기서 얻을 수 있는 사실은 오픈AI처럼 앞서나가는 AI기업에도 결국 사람이 필요하다는 것입니다. 데이터를 가지고 어떤 답이 나오기를 바라고 어떤 비즈니스 임펙트를 만들고 싶은지 고민하고 데이터 거버넌스를 수립할 필요가 있습니다. 데이터를 생성하는 것도 소비하는 것도 활용하는 것도 인간이기 때문에 굳이 만능 AI를 사용하지 않고 최소한의 모델을 활용해서 문제를 해결할 수 있습니다. 고객으로부터 발생한 데이터를 통해 고객 경험을 개선하는 것도 마찬가지겠지요.

 




 

📺 우아한형제들의 데이터 마케팅 이야기 전체 영상 보러가기






팀 맥소노미와 글로벌 마테크 & 애드테크 솔루션사, 그리고 국내 최정상 기업이 함께했던 The MAXONOMY 2024의 모든 세션은 더맥소노미2024 다시보기에서 확인하실 수 있습니다. 더맥소노미2024를 통해 그동안의 고민이 조금은 가벼워지셨기를 바라며, 더맥소노미는 더욱 유익한 인사이트와 정보로 다시 찾아뵙겠습니다.

 

 

 

인공지능(AI), 데이터 분석, 예측, 우아한형제들