앰플리튜드
[FAQ] GA에서 Amplitude로 전환하기
Team MAXONOMY ・ 2023.10.23
![[FAQ] GA에서 Amplitude로 전환하기](https://maxonomy-prd-pub-a-s3.s3.ap-northeast-2.amazonaws.com/upload/BoardThumbnail/38764/wCjU9pfC.webp "[FAQ] GA에서 Amplitude로 전환하기")
구글의 유니버설 애널리틱스(Universal Analytics) 지원이 중단되면서, 많은 기업에서 Amplitude에 대한 문의를 주셨는데요, 이번 포스팅에서는 유니버설 애널리틱스(이하 UA) 지원 종료와 관련하여 Amplitdue에 대해 가장 많이 궁금해하셨던 질문과 그에 대한 답변을 알아보겠습니다!
Q1. UA에서 Amplitude로 이전하기, 많이 어려운가요? 😔
UA을 사용하던 많은 고객들이 패닉에 빠졌습니다. UA 서비스 종료가 너무 예상치 못한 일이었고, UA에서 GA4로 넘어가는 프로세스도 그렇게 간단하지 않았거든요.
웹 사이트 분석을 주로 진행하신 경우에는 GTM(Google Tag Manager : 구글 태그 매니저)을 기반으로 Amplitude로 넘어오는 방법을 추천합니다. UA를 사용했다면, GTM을 통해 데이터 레이어를 공급했을텐데요. Amplitude의 무료 GTM 템플릿을 활용한다면, 기존에 UA에서 작업한 모든 데이터를 손쉽게 이관하여 Amplitude 안에서 확인할 수 있습니다. 이후엔 Amplitude에서 이벤트와 속성(property)을 설정하고, 새로운 규칙을 GTM에 추가하기만 하면 됩니다! 뭔가 복잡해보이지만, 실제론 몇 시간만에 끝낼 수 있는 간단한 작업입니다.
툴을 활용한 방법도 있는데요. API를 기반으로 UA의 분류체계(Taxonomy)를 Amplitude로 손쉽게 옮기는 툴이 존재합니다.(Amplitude의 제휴사인 BlastX와 함께 만들었습니다) Amplitude의 국내 공식 리셀러인 Team MAXONOMY에서도 이와 관련된 상담과 기술지원을 아끼지 않고 있습니다.😉
모바일 앱 분석을 주로 진행하셨던 고객은 GA SDK나 Firebase SDK를 Amplitude SDK로 교체해야합니다. 아무래도 웹 사이트보다는 복잡한데요. 이런 경우에는 Amplitude 사용법을 먼저 익힐 수 있도록, 앱과 연결된 웹 사이트 분석부터 시작하는 것을 추천드립니다. Amplitude는 하나의 프로젝트 안에서 웹/앱 데이터를 결합하여 분석할 수 있기 때문에 크게 걱정하실 필요 없습니다.
Amplitude는 UA보다 훨씬 높은 호환성을 자랑합니다. Segment, mParticle, RudderStack 등의 CDP에서 얻은 데이터부터, 자체 개발한 데이터 수집기의 데이터까지 Amplitude에서 활용 가능합니다. 뿐만 아니라 BiqQuery나 Snowflake와 같은 데이터 웨어하우스와도 통합 가능합니다.
Q2. 이커머스 분석도 가능한가요? 📋
UA는 'Enhanced Ecommerce(향상된 전자상거래)'라는 기능을 제공하는데요. 이 기능을 유용하게 사용한 고객이 많을 것 같습니다. Enhanced Ecommerce를 사용하면 이커머스 방문자가 얼마나 자주 제품을 검색하고, 장바구니에 담고, 구매하는지를 알 수 있죠.👓 또한 이커머스에서 판매되고 있는 각 제품을 트래킹할 수 있도록, 제품마다 자체적인 데이터셋을 제공합니다.
당연히 Amplitude로도 이 모든 기능을 사용할 수 있습니다! 다만, 구현 방법을 정확히 규정하지 않는다는 점, 특정 레포트(혹은 매트릭스)를 자동으로 형성하지 않는다는 점이 다릅니다. UA처럼 따로 세팅하지 않아도 레포트가 미리 형성되는 기능은 매력적이긴 하지만 이는 UA가 규정한 데이터 분석 인사이트만 발견하게 될 위험이 있습니다. 그럼에도 UA에서 받아보던 레포트가 편하다면, 베스트 프랙티스(Best Practice) 기능을 통해 UA에서 사용하던 이벤트를 그대로 복사하고, 맞춤 수정까지 하여 레포트를 받으실 수 있습니다.
또한, UA에는 하나의 측정기준 배열만 가능한 반면에, Amplitude에서는 무제한의 측정기준 배열이 가능합니다. 언제든지 하위 측정기준(속성)을 트래킹할 수 있다는 거죠!
Q3. 마케팅 채널과 캠페인을 트래킹할 수 있나요?🙋♂️
UA를 사용의 주 목적은 아무래도 퍼포먼스 마케팅일 것입니다. '마케팅 유입 분석'은 UA의 핵심이라고 할 수 있죠. 마케터들이 보통 사용하는 UA의 주요 기능은 다음과 같습니다.
- 유입 채널(Acquisition Channels): 고객 유입 채널을 추적하고, 적합한 세션과 이벤트와 연동할 수 있습니다.
- 멀티 터치 어트리뷰션(Multi-Touch Attribution): 마케팅 채널 및 캠페인에 다양한 어트리뷰션 모델을 할당하여, 채널 및 캠페인의 성과를 측정할 수 있도록 해줍니다.
- 광고 네트워크 통합(Advertising Network Integraton): 광고 노출, 광고 클릭, 캠페인의 광고 비용 등 통합적인 마케팅 지표를 확인할 수 있습니다.
- 광고 네트워크 오디언스 공유(Ad Network Audience Sharing): 캠페인 또는 리타게팅을 위해 고객 세그먼트를 광고 네트워크와 연동할 수 있습니다.
Amplitude는 유저 유입 후의 웹/앱 사용을 분석하는 데 강점있었습니다. 하지만 유입 채널, 멀티 터치 어트리뷰션, 광고 네트워크 통합 기능을 최근 추가하였고, UA에서 이용 가능했던 기능을 최대한 이용할 수 있게 노력했습니다. 예들 들어, 구글 검색광고, Bing 검색 광고 등의 채널별로 유입되는 유저 수를 확인 할 수도 있고 랜딩 페이지, 페이지 이탈률 등을 볼 수도 있습니다.
또한, UA에서 멀티 터치 어트리뷰션을 트래킹할 수 있는 기간이 90일로 제한되어있는 반면, Amplitude에서는 제한없이 원하는 기간만큼 트래킹 가능합니다. 게다가 UA가 제한된 영역에서만 어트리뷰션 모델을 할당할 수 있는 반면, Amplitude에서는 모든 영역에 어트리뷰션을 적용할 수 있습니다. (GA4에서도 지원되지 않는 기능입니다!😉)
구글 애즈(Google Ads)와의 호환성도 걱정할 필요 없습니다. 구글 애즈의 광고 노출, 클릭, 비용, 캠페인 등의 정보를 불러올 수 있도록 시스템이 구축되어있습니다.
Q4. Amplitude에서 Google Ads로 유저 정보를 넘길 수 있나요?🧑🚀
UA의 장점 중 하나는 Google Ads와의 연동성이 좋다는 점입니다. UA의 고객 세그먼트를 Google Ads에 연동하여 광고에 활용할 수 있죠. 그러나 이 기능은 Google Signals를 사용해야만 이용 가능합니다. Google Signals는 고객 사생활 침해의 우려가 있어 많은 국가(특히 유럽)에서 금지된 기능입니다. 즉 몇몇 국가에서는 UA와 Google Ads의 연동 기능을 사용할 수 없습니다.
*Google Signals : 익명 사용자를 식별할 수 있는 기능 (옵트 아웃 방식으로 수집한 개인 정보는 제외)
Amplitude는 많은 파트너사와의 협력을 통해 Google Ads와 같은 광고 플랫폼에서 고객 세그먼트를 이용할 수 있는 합법적인 방법을 마련해두었습니다. 즉, Google Ads가 문제 없이 호환된다는 거죠! Google Ads뿐만 아니라 다양한 광고 플랫폼과도 호환됩니다.🤗
Q5. Amplitude에도 통합 테스트 기능이 있나요?👩🔬
Google의 무료 테스트 플랫폼인 Google Optimize의 서비스가 종료되었습니다. 테스트는 데이터 분석의 핵심입니다. 데이터를 통해 인사이트를 얻는 데에 그치지 않고, 테스트를 거쳐 이 인사이트가 정말 유의미한 것인지 확인하는 작업이 필요합니다.
Amplitude는 이미 2년 전에 Amplitude Experiment라는 통합 테스트 기능을 출시했습니다. Amplitude Experiment에서는 기능 플래그(feature flagging), A/B 테스트 등 다양한 실험 기능을 사용할 수 있습니다. Amplitude Experiment가 무료는 아니지만, Amplitude Analytics와 사용하면 분명 엄청난 시너지 효과를 볼 수 있습니다.
Q6. Amplitude에는 데이터 제한 요소가 없나요? 👨💻
UA 및 GA4는 확장성, 데이터 샘플링, 측정 기준, 계량 분석에서의 제약 사항이 굉장히 큰 편입니다. 제약 사항을 정리하면 다음과 같습니다.
- 마케팅 어트리뷰션의 전환 추적을 90일로 제한
- 속성(property) 당 이벤트 범위 커스텀 측정 기준 125가지로 제한
- 속성 (property) 당 사용자 범위 측정 기준 100가지로 제한
- Enhanced Ecommerce 한 가지 측정 기준으로만 배열 가능
- 이벤트 및 이벤트 파라미터의 이름 40자로 제한
- 이벤트 속성 값 이름 100자로 제한
- 사용자 속성 값 이름 36자로 제한
- 사용자 ID 값 256자로 제한
- 페이지 위치 값 1,000자로 제한
- 사용자 기반 세그먼트 활용 시, 리포트 범위 93일로 제한
- 탐색 리포트는 최대 5가지 측정 기준, 10가지 계량 분석, 500줄의 데이터로 제한
- 새로운 계량 분석/측정 기준을 위한 대기 시간 24시간
- 데이터 백필(backfill) 72시간 제한
- Looker Studio에 대한 API 할당량 제한
이외에도 UA와 GA4엔 크고 작은 제한 사항이 많습니다. 유료 버전이 이정도니, 무료 버전은 훨씬 심각하겠죠. 때문에, 대형 웹/앱에서는 Amplitude를 더 선호합니다. Square, PayPal, Doordash와 같은 고객사들은 GA4가 처리할 수 없는 데이터 볼륨을 가지고 있어, Amplitude를 선택하였습니다.
물론 GA4를 사용하더라도 BigQuery나 Looker Studio를 사용해서 더 복잡한 쿼리를 실행할 수도 있습니다. 하지만 이런 툴을 활용하려면 SQL이나 BI 사용법을 또 배워야합니다. 일반적인 마케팅이나 프로덕팀에게는 부담스러울 수 밖에 없죠🤦♀️
Amplitude를 사용하면 가장 기초적인 활용부터 아주 복잡한 수준의 활용까지 동일한 인터페이스로 처리합니다. 배우고 활용하기 매우 쉽다는거죠! 물론 BigQuery, Snowflake, Redshift 등으로 데이터를 전송할 수도 있습니다. 위에서 언급한 수 많은 제약 사항들도 신경쓸 필요없고, 거의 모든 크기의 데이터셋도 적용 가능합니다!
Q7. 프라이버시 문제는 없나요?👮♀️
유럽에는 GDPR(General Data Protection Regulation: EU의 일반 개인정보 보호법)이라는 강력한 법률이 존재합니다. 이 법안으로 인해 GA4는 몇몇 유럽 국가들에서 프라이버시에 관한 비난을 받고 있으며, 심지어 '불법'을 자행하고 있다는 이야기도 들려옵니다. 이번 포스팅에서 해당 법안에 대한 상세한 설명을 할 순 없지만, 확실한 점은 Amplitude가 GA4에 비해 프라이버시 문제에서 훨씬 자유롭다는 점입니다.
Q8. Amplitude만의 기능도 소개해주세요! 👩🏫
Amplitude만의 차별화된 기능은 너무나도 많습니다!! 주요한 기능 몇 개만 살펴보겠습니다.
- 협업 및 데이터 스토리텔링 : Amplitude는 디지털 분석을 팀 스포츠처럼 만들어야한다고 생각합니다. 그렇기 때문에 비디오, 이미지, 차트, 그래프, 리치 텍스트(rich text) 그리고 주석까지 모두 '노트북(Notebooks)'이라는 하나의 공간에서 공유할 수 있도록 하고 있습니다. '노트북'안에는 토론 스레드가 있어, 팀원들의 분석결과와 생각까지 공유할 수 있습니다. slack, jira, notion, miro를 사용한다면, 연동하여 활용할 수도 있습니다.
- 컨버전 퍼널 : UA에도 컨버전 퍼널이 있긴 하지만, Amplitude의 컨버전 퍼널과 비교가 되지 않습니다. Amplitude의 컨버전 퍼널은, 머신 러닝 기술을 적용하여, 고객이 이탈할 것같은 조건이 감지되면 미리 알림을 주어 예방할 수 있도록 합니다.
- 리텐션 레포트 : UA의 리텐션 레포트는 기초적인 기능만 제공하지만, Amplitude의 리텐션 레포는 훨씬 더 많은 정보를 제공합니다. 새로운 고객, 현재 고객, 활성화된 고객, 휴면 고객을 표시하는 고객생애주기 보고서부터, N-Day 리텐션, 언바운디드 리텐션 (특정 날짜를 포함하여, 그 이후에 돌아온 고객) , 리텐션 추이 등을 제공합니다. 또한 UA에서 리텐션 레포트를 작성하려면, SQL을 통해 20개 이상의 배열을 수동으로 작성해야하지만, Amplitude에서는 외부 툴을 사용할 필요없이 간단한 인터페이스를 통해 레포스를 만들어낼 수 있습니다.
- 데이터 거버넌스 : Amplitude는 데이터 거버넌스 회사를 통째로 인수할 정도로 데이터 거버넌스에 진심입니다. 데이터 트래킹 플랜을 작성하고, 데이터 품질 이슈를 찾아내고, 데이터의 스파이크(spike)나 갭(gap)을 관찰할 수 있는 기능을 제공합니다. 또한, 사용자가 중복 세그먼트나 메트릭스를 생성하지 못하도록 방지하여, 세그먼트나 메트릭스가 급증한다거나, 분석에 방해가 되지 않도록 합니다.
- 고객 지원 : UA의 경우, 교육 및 지원을 외부 기업에 위임합니다. 반면, Amplitude는 직접 고객 지원을 하죠. CSM(Customer Success Manager : 고객 성공 관리자)가 배정되어서 전문적이고 정기적인 지원을 받을 수 있습니다. 필요한 경우에는 Amplitude 활용에 대한 대면 교육도 신청할 수 있죠.
Q9. 전문가는 어떤 제품을 더 추천하나요?👩⚖️
케임브릿지의 리서치 기업 Forrester에서 발행한 '2022 Digital intelligence platform wave report'를 살펴보면, 제공 가치와 비전 부문 둘다 Amplitde가 UA 및 GA4보다 뛰어나다고 평가받고 있음을 확인하실 수 있습니다!
팀맥소노미
YOUR DIGITAL MARKETING HERO
비즈니스 성장을 위한 최적의 솔루션과 무료 데모 시연, 활용 시나리오를 제안 받아보세요
24시간 프리미엄 열람권 받기
관련 글 보기
A/B테스트 개념과 데이터 분석 방법🔍
A/B 테스트는 두 가지 혹은 그 이상의 서로 다른 버전(Variant)을 비교하여 어느 쪽이 더 나은 성과를 내는지 판단하는 실험 기법입니다.
여러분의 고객 데이터는 안전한가요? (feat. DX·AX)
최근 여러 기업에서 개인정보 유출 사고가 발생 중인 상황에서 기업은 어떻게 대응해야 할까? DX와 AX의 흐름 속 개인정보 보호가 나아가야 할 방향.
B급 감성 마케팅이 온다
B급 감성이란?혜성처럼 등장한 B급 감성은 많은 산업과 분야에 영향을 미치고 있습니다. B급의 사전적 의미는 ‘완벽함을 추구하는 것보단, 투박하고 엉성한 스타일을 추구하는 것’입니다. 이런 B급 감성은 소비자가 손쉽게 친근감을 느낄 수 있어, 특히 마케팅 분야에서 많이 시도하는데요.한때 모두가 B급감성을 지향하던 시기가 있을 정도로 그 파급력이 강력했습니다. 하지만 B급 감성을 마케팅에 적절히 활용하기란 여간 까다로운 것이 아닙니다. 잘못된 B급 감성의 적용은 자칫 브랜드 자체를 B급으로 만들어 버릴 수도 있기 때문입니다.B급 감성 마케팅은 모두가 완벽해지고 싶어하는 가운데 일부러 허술함을 표현합니다. 이것은 비슷한 기성품들 사이 차별화를 부각시킴과 동시에, 독보적이고 특별함을 보여줄 수 있는 장점을 가지고 있습니다. 또한 완벽하지 않은 모습에 소비자들이 마음을 조금더 손쉽게 열 수 있는 친근한 접근 방식이죠.하지만 잊지마세요. 오늘 맥사이트픽에서 이야기해볼 ‘B급 감성 마케팅’은 결코 단어 그대로의 B급을 의미하지 않습니다. B급이란 이름표를 달고 있고, 그래서 어딘가 B급처럼 보이긴 하지만 사람들의 마음을 움직이는 힘을 가지고 있는 마케팅이 우리가 추구하는 진정한 B급 감성 마케팅입니다.실제로는 SS급 역할을 해주었을 때, 비로소 B급 감성 마케팅이라 부를 수 있다는 점을 명심하세요! 무조건 B급의 소재를 브랜드와 결합시켰다고 해서 B급 감성 마케팅으로 볼 수 없습니다.B급 감성을 살린 마케팅Dollar Shave Club: 우리 면도날은 끝내주게 좋습니다.출처: DollarShaveClub 유튜브 | Our Blades Are F***ing Great면도기 및 미용용품 구독 서비스를 제공하는 Dollar Shave Club은 저예산 B급 감성의 유튜브 광고 영상을 제작하여 큰 주목을 받았습니다.문을 통과할 때 종이가 엉성하게 뜯기고, 테이프는 제대로 잘리지 않고, 택배 상자 패스를 놓치는 등 실수를 의도적으로 활용하여 웃음을 주면서도 인간적인면을 부각시키는 광고였습니다.굉장히 단순한 촬영과, 현실적인 메시지에 곁들인 유머러스한 대사가 오히려 화려한 광고들보다 특별해보입니다. 이를 곧 친밀감으로 연결할 수 있다는게 B급 감성 마케팅의 힘입니다.이 광고가 그리 특별해보이지 않은 사람도 있을 것입니다. 이미 많이 본 컨셉이라고 하면서 말이죠. 하지만 이 광고가 13년 전인 2012년에 나왔다는 점을 감안했을 때, 당시 얼마나 신선하고 충격적이었을지 상상조차 안됩니다.해당 광고는 공개 후 약 48시간만에 12,000명 이상의 신규 가입자를 유치했고, 이후 영국의 생활 용품 기업 ‘유니레버’에 10억달러에 인수되는 성과를 만들었습니다.CJ 제일제당: 육수커플출처: CJ제일제당 육수커플 유튜브 | 우리 결혼했어요 육수커플최근 제일제당에서는 편의형 코인육수의 신제품인 ‘바지락멸치 맛 1분링’을 출시했습니다. 해당 제품 홍보를 위해 ‘1분링’ 캠페인을 진행 중인데요. 광고 스토리가 정말 재밌습니다.배우 변요한·차주영이 몰던 차량이 강에 빠지자 강물이 육수로 가득 우러나고, 잠시 후 폭발하는 자신의 집을 바라보며 미소를 짓는 두 사람의 모습으로 끝이납니다.B급이라는 표현으로도 부족한 황당한 전개에 과장된 슬로모션까지 더해 광고는 처음부터 끝까지 절대 B급이라는 프레임을 벗어나지 않기 위해 노력합니다. 또한 이런 B급광고에 어울리지 않는 정극 배우들을 모델로 선정하여, 부조화를 이루고 있죠.이런 부조화가 오히려 신선하고 재밌게 다가오며, 소비자로부터 뜨거운 반응을 이끌고 있습니다.우리가 B급 감성을 사랑하는 이유이런 B급 감성의 광고가 소비자의 마음을 움직이는 이유는 뭘까요?익숙하게 자리한 밈(meme) 문화가 밑바탕이 되어있기 때문이라고 설명할 수 있습니다. 밈은 반복과 자가복제 즉 패러디가 핵심인데 B급 콘텐츠는 이러한 이야기 형식에 딱 들어 맞습니다. 한 번 웃기면 빠르게 퍼지고, 재생산되며, 비슷하지만 어딘가 새로운 또 다른 유행을 만들어냅니다.여기에 전형적인 광고의 모습이 아닌 마치 TV드라마의 한 장면같은 구성은 광고에 대한 거부감을 줄이는데 효과적인이면서, ‘B급이니까 광고더라도 그냥 재미로 한번 봐줘’ 의 뉘양스로 소비자에게 더 쉽게 다가갈 수 있었습니다.다만, B급 감성 마케팅을 시도해보고 싶다면 다음 3가지는 절대 피해야만 합니다. 브랜드가 전달하려는 메시지를 방해한다면, B급 감성을 접목하지 말아야 합니다: 브랜드의 상품과 서비스가 B급으로 표현되면 안되는 분야가 있을 수 있습니다. 대표적으로, 사람의 생명을 다루는 의료 또는 의약 분야가 있죠. 이런 분야에서 B급 감성을 잘못 적용하면, 소비자에게 전달될 상품과 서비스의 메시지가 왜곡될 수 있고 이로인해 잘못된 소비자의 이해가 발생할 수 있습니다. 뿐만 아니라, 광고로 인한 사회적 논란이 생겨날 수 있습니다.과한 유머는 소비자의 불쾌감을 유발시킬 수 있습니다: 특정 집단을 대상으로 희화하거나, 적절한 정도를 넘어서는 유머는 대중을 대상으로 하는 광고에서 오히려 반감을 불러일으킬 수 있습니다.일관성있는 메시지와 브랜드의 가치 안에서 B급 감성이 들어있어야 합니다: 이전 포스트인 2025년 대통령 선거로 보는 마케팅 기술에서도 언급되었지만 브랜드의 일관성은 곧 소비자들의 신뢰도와 직결된 부분입니다. 우리의 메인 메시지와 정체성이 이어지지 않은 B급 감성 마케팅은 그저 ‘B급 감성을 위한 마케팅’이 될 것입니다.🚩맥소노미가 PICK한 이유대부분의 광고와 마케팅의 목적은 소비자에게 브랜드의 가치를 진정성있고 친근하게 전달하여 브랜드로 들어오는 유입 장벽을 낮추기 위함입니다. 그러나 이때, 브랜드와 어울리지 못한, 그리고 정도를 지나친 B급 감성 마케팅은 되려 소비자 마음의 문을 닫아버릴 수 있으니 다른 마케팅 전략보다 더욱 신중할 필요가 있습니다. 브랜드가 소비자에게 이야기하고 싶은 메시지를 잃지 않고서 B급 감성이 활용되어야 마케팅을 통한 진정한 B급을 만들어낼 수 있습니다. B급 감성은 처음에는 소비자들에게 어설퍼 보일 수 있지만, 실제로 이는 계산된 어설픔이라 결과적으로는 완벽하다는 메시지로 이어집니다. 그리고 장난처럼 보이지만 누구보다 진지하다는 것을 소비자들이 알수 있습니다. 소비자가 처음에는 가벼운 마음으로 B급 감성 마케팅을 받아들이지만 궁극적으로는 누구보다 진지하게 자신들의 가치를 전달하고 있는 브랜드의 감성을 제대로 이해해주었을 때 B급 감성이 제대로 성공했다고 볼 수 있을 것 입니다.
Amplitude Feature Experiment: 데이터 기반 실험의 시작
실험이 중요한 이유디지털 서비스를 운영하다 보면 다음과 같은 질문과 마주하게 됩니다. “이 버튼을 바꾸면 클릭률이 더 높아질까?” “새로운 기능을 모든 사용자에게 바로 공개해도 될까?” “프리미엄 사용자에게만 실험적으로 먼저 공개해보고 싶은데, 어떻게 관리하지?”대부분 경우 직감이나 내부 회의로 결정을 내리지만, 그 결과가 실제로 사용자 경험과 KPI에 긍정적인 영향을 주는지 알기 어렵습니다. 이로 인해 향후에 추가적인 실험 테스트를 수행하기 어려운 환경이 조성되어 버리기도 합니다.또한, 서비스를 운영하다보면, 서비스의 성장을 위해 여러 고민과 의사결정이 필요한 순간이 옵니다.✅ 새로운 기능을 모든 사용자에게 배포하기엔 위험할 때✅ 디자인이나 UI를 바꾸고 그 효과를 정확히 측정하고 싶을 때✅ 특정 사용자 그룹에게만 실험적으로 기능을 보여주고 싶을 때✅ 실험 결과를 클릭률, 전환율, 리텐션율 등의 지표로 분석하고 싶을 때따라서, 개발단의 리소스를 최소화하면서, 실제 사용자 데이터 기반의 결과 분석이 가능한 실험 체계를 도입할 필요가 있습니다. Amplitude Experiment는 고객에게 제공하는 기능 on/off 토글링부터 A/B 테스트, 점진적 릴리즈, 결과 분석까지 하나의 워크플로우 안에서 지원함으로써 "기능 실험 → 결과 측정 → 의사결정"을 오차없이 빠르게 수행할 수 있도록 도와줍니다.Amplitude Experiment에서는 다음 두 가지 방식으로 실험을 구성할 수 있습니다.Feature ExperimentWeb Experiment이름만 보아서는 비슷해 보이지만, 실제 사용 목적과 운영 방식에는 뚜렷한 차이가 있습니다. 이번 포스팅에서는 이중 Feature Experiment에 대해 집중적으로 알아보겠습니다.Feature Experiment: 기능 중심 실험Feature Experiment는 코드 기반으로 운영되는 실험 방식입니다. 개발자가 직접 고객에게 보여줄 화면을 만들거나 신규 기능을 구현한 후에 이것을 일부 고객들에게만 노출하고 원하는 효과를 보았는지 확인하고자 할 때 활용합니다.개발단에서는 변경된 화면이나 기능을 적용하고 예외 처리를 추가하여 특정 사용자에게만 노출될 수 있도록 구현하고, 실무자는 원하는 고객군과 모수 비율을 Amplitude 콘솔에서 언제든 수정하여 테스트를 수행 해 볼 수 있습니다.개발단 기능- 화면 구성- 조건 처리실무단 기능- 모수집단 선정, 비율 선택- 전환 목표 지정, 분석 방식 선정- 테스트 시작, 종료, 기간 선정- 실험 분석 결과 확인- Analytics로 추가 심화 분석 수행예시로 이해하는 Feature Experiment 활용1) 신규 기능 가설 세우기어느 날, 개발자가 추천 알고리즘 로직 개선 작업을 완료 하였습니다. 이 알고리즘을 서비스에 적용하면 굉장한 효과를 보여줄 것이라 기대하고 있지만, 바로 운영계에 적용하기에는 어떤 사이드 이펙트가 있을지 예상할 수 없었습니다. 가령 잘못된 상품 추천으로 고객에게 안 좋은 경험을 제공하면 이탈로 이어질 수 있죠.따라서, 전체 고객이 아닌, VIP 고객 중 10%에게만 새 알고리즘을 적용하고 클릭률, 구매율을 측정하기로 하였습니다. 결과 데이터가 나머지 고객들에 비해 5%이상 증가한다면 전체 사용자에게 확대 배포하는 거죠.2) 개발단 작업처음 실험을 진행하는 것이라면 Amplitude Experiment SDK를 적용하는 작업이 필요합니다. 신규 추천 알고리즘은 이미 개발 완료된 상황이고 SDK 적용은 큰 시간이 소모되지 않기 때문에 거의 바로 실험 진행이 가능합니다.(Amplitude Experiment SDK 라이브러리 탑재 및 초기화 후 고객마다 서로 다르게 제공하고자 하는 위치에서 조건문(if)을 구성)Android 적용법1. 라이브러리 추가 (build.gradle에 dependencies 추가)2. 초기화 (Application단에서 초기화)3. 현재 사용자의 experiment 관련 정보 수신4. 고객이 보유한 flag 값에 따라 제공 여부 결정( 새로운 추천 알고리즘이 제공될 10%의 VIP 고객은 "on"으로, 그 외 고객들은 모두 "off"로 적용)3) Amplitude 설정(Experiment UI 구성)3-1) Deployment 생성하기운영하는 서비스는 여러 환경으로 구분되어 있습니다.개발계(development) / 내부 QA 테스트 수행 환경(staging) / 운영 환경(production)Android, iOS, Web 등 제공 플랫폼 환경실험을 진행하고자 할 때, 특정한 환경에서만 진행하실 수도 있고, 여러 환경에서 동시에 진행해 보실 수도 있을 겁니다. 이 때, 어떤 환경에 실험을 배포할 것인지를 정의할 수 있도록 "Deployment"라는 작업이 필요합니다.하나의 프로젝트 내에서 배포할 환경마다 각각의 Deployment를 생성해주시면, 실험을 진행할 때, 이 실험을 어떤 환경에만 배포할지 지정할 수 있습니다.Experiment > Deployments 화면에서 제공하는 “Create Deployment”를 클릭하고 배포할 환경의 이름과 프로젝트를 선택하면 바로 Deployment 생성이 가능합니다.3-2) Experiment 생성하기이제 기본적인 세팅은 모두 완료 되었으니 실험을 만들어 볼 수 있습니다!Experiment > Experiments 메뉴에서 새로운 실험명과 사용할 키 값을 정하신 후 생성(Create)합니다.4) 실험 설계4-1) 목표 설정하기실험을 만들 때 가장 먼저 생각해야 할 부분은 "목표" 설정 입니다. 실험을 한다는 것은 결국, 무언가를 더 좋게 만들기 위해서이기 때문에, 반드시 “이 실험을 통해 무엇이 좋아지기를 기대하는가?”에 대한 기준이 필요하며, 그것이 바로 목표 설정입니다. 우리가 설정한 목표를 달성했는지 여부를 가지고 이번 실험의 성공 여부를 파악해 보실 수 있겠지요.목표는 기존에 만들어 두었던 지표를 선택하실 수도 있고, 원하는 목표를 새롭게 생성하실 수도 있습니다.Unique, Event Total, Conversion 등 분석에서 활용해 보셨던 다양한 지표 옵션을 기반으로 목표 설정이 가능한데, 이번 실험에서는 클릭율이 5% 이상 증가하는 것을 목표로 잡았기 때문에, "화면 진입 > 버튼 클릭"으로의 전환율이 5% 이상 상승하는 것을 목표로 설정했습니다.4-2) 대안(Variant) 등록하기비교 테스트를 진행할 때, 대안은 하나일 수 있지만 여러 개가 있을 수도 있습니다. "내가 테스트하고 싶은 기능의 버전은 몇 가지이며, 각각 어떤 차이가 있을까?" 테스트 하고자 하는 대안의 수 만큼 Add a Variant 옵션으로 추가하여 정의할 수 있습니다. (단, 너무 많은 Variant는 분석을 어렵게 하므로 2~4개 이내를 권장합니다.)각 Variant의 Value 값은 SDK에서 분기 처리에 사용(e.g. variant.value)되므로 개발단에서 미리 지정하신 값이 있을 경우, 해당 값으로 기입되어야 하며, 미리 정의되어 있지 않았다면 여기에서 정의하시는 값으로 개발단의 코드 작업이 수행되어야 합니다.※Value 값이 수정될 경우, 앱의 재배포가 필요하므로 처음 생성 시 Amplitude에서 허용하는 명명규칙(숫자, 영문, 언더스코어, 하이픈만 허용)을 참고하시어 향후 변경하지 않을 값으로 지정이 필요합니다.4-3) 고객 그룹(Targeting) 정의하기[Audience]실험에 활용할 대안을 등록했다면, 누구를 대상으로 실험을 진행할 것인지 모수 집단을 선택하실 수 있습니다. All Users를 선택하여 전체 고객을 모수 집단으로 선정할 수 있으며, Target Users를 선택하여 특정 모수집단을 Segment로 정의할 수 있습니다.[Distribution]선정한 모수 집단을 각 대안에 어느 정도 비율로 할당 할것인지 지정할 수 있습니다. 기본 옵션인 evenly distribute로 동일한 비율로 지정하는 것을 권장 드리며, 원하실 경우 Customize 옵션으로 수동 설정이 가능합니다.(control로 할당되는 고객들은 실험에 참여는 하지만 실제로는 변경된 대안 UI가 노출되지 않는 그룹으로써, 대조군의 역할을 수행합니다.)[Rollout]지정하신 모수 집단 전체를 대상으로 실험을 수행하실 수도 있으나 그 중 일부를 대상으로만 진행하는 것도 가능합니다. Rollout 설정을 통해 전체 모수 집단 중 몇 %에 해당하는 고객들을 대상으로 실험을 진행할 것인지 범위를 지정할 수 있습니다.(Control vs. Rollout: control에 포함된 고객은 실험에 포함되어 향후 결과 분석 시 대조군 역할을 하지만, Rollout에서 제외된 고객은 실험 자체에 포함되지 않으므로 결과 또한 추적되지 않습니다.)5) 전달 구성5-1) Flag & Evaluation 정의Flag는 실험을 식별하는 고유 식별자로써, 실험을 생성하시는 시점에 key 항목으로 기입한 정보를 확인하실 수 있으며, 실험 시작 전까지는 변경이 가능합니다. 이 값은 SDK에서 실험 정보 요청에 사용(e.g.FLAG_KEY) 되므로 개발단에서 미리 정하신 값이 있다면 그 값으로, 없다면 여기에서 정의된 값으로 개발단의 코드 작업이 수행되어야 합니다.Evaluation Mode는 고객이 어떤 대안에 해당 되는지를 어디에서 계산할 것인지 선택하는 항목입니다. 일반적으로는 Amplitude에 수집된 정보를 실시간으로 확인하여 결정되나, 실시간 검토 방식은 통신 상의 약간의 딜레이(0.1~1초)가 발생하므로, 고객에게 즉각적으로 노출되어야 하는 UI에 대해서는 로컬에서 계산하는 방식을 선택하실 수도 있습니다.5-2) 배포 환경(Deployment) 선택지금까지 작성한 실험을 어떤 환경에 배포 할 것인지를 선택합니다. 특정 플랫폼이나 개발환경에만 적용하고자 하실 경우, 해당하는 deployment만 선택하여 배포가 가능합니다.6) 실험 시작모든 세팅을 완료했다면, 우측 상단 버튼을 이용하여 각 플랫폼 별로 적용할 수 있는 샘플 코드를 확인할 수 있습니다. 개발 담당자에게 해당 정보를 전달하여 적용을 요청할 수 있습니다.실험을 고객들에게 배포하기 전, 미리 등록해 둔 테스터만을 대상으로 선행적으로 배포가 가능하며, 예약 실행이나 feature flag만 활성화하고 실험 분석은 수행하지 않는 등 여러 옵션을 정의해 보실 수 있습니다.모든 사항의 확인이 완료되었다면, 최종적으로 Start Experiment를 클릭하여 실험 시작이 가능합니다. 실험을 종료할 때에는 초기 버전으로 롤백을 할 것인지, 아니면 특정 대안( Variant )으로 적용할 것인지 선정하여 실험을 마칠 수 있습니다.실험이 진행되는 동안 발생한 실험 참여(Assigentment), 실험 노출(Expouse) 및 목표로 잡은 정보들은 모두 고객별 프로필에 저장되므로 이를 기반으로 심층 분석(Analytics)을 바로 수행해 볼 수 있습니다. 또한, 처음 목표로 잡았던 것 이외에도 각 그룹별로 어떠한 변화가 있었는지 수집된 데이터를 기반으로 분석이 가능합니다.실험과 분석을 하나의 플랫폼 안에서실험과 데이터 분석은 이제 더 이상 따로 작업할 필요가 없습니다. 기존 A/B 테스트 도구들이 단순히 실험을 “실행”하는 데 집중했다면, Amplitude Feature Experiment는 실험 설계부터 분석, 최종 반영까지 추가적인 개발단 작업없이 한 번에 처리할 수 있는 실험 플랫폼 체계를 제공합니다.CUPED, Sequential Testing, Bonferroni 등 실험의 정확도를 높이는 기능이 기본으로 탑재되어 있어, 적은 트래픽으로도 빠르게 유의미한 결론을 얻을 수 있으며, Amplitude Analytics와 완벽히 연결되어 언제든 전환율,리텐션, 코호트 분석 등 심층적인 결과 분석을 바로 이어나갈 수 있습니다.또한 클라이언트 배포 없이, 서버-사이드 실험 연동을 지원하므로 고객들에게 끊김없는 실험 환경 제공이 가능합니다. 제품의 성과를 빠르게 검증하고, 그 결과를 정확히 해석해 다음 의사결정으로 이어가고 싶다면, Amplitude Feature Experiment는 더없이 강력한 선택이 될 것입니다.Feature Experiment 활용에 도움이 필요하나요?팀 맥소노미 Amplitude 도입문의 바로가기