AI 퍼스트 시대의 새로운 분석법

지금까지 제품(프로덕트)은 UI 디자인과 인터랙션을 기반으로 사용자 경험을 제공해 왔습니다. 메뉴를 통해 콘텐츠를 탐색하고, 특정 버튼을 클릭하여 원하는 페이지로 진입하며, 각종 정보로 채워진 화면을 둘러보았습니다.

하지만 AI 도입이 가속화되면서 이러한 관례가 조금씩 무너지고 있습니다. 여행 예약, 신발 쇼핑, 문서 작성 등 우리가 사용하는 거의 모든 디지털 프로덕트의 UX에 AI 요소가 추가되고 있습니다. 대부분은 텍스트 명령을 통해 기존의 탐색 과정을 대체하는 '채팅 퍼스트(chat-first)' 인터페이스를 채택하고 있으며, 최근엔 AI가 직접 액션을 취하는 에이전트 워크플로우까지 도입되고 있는 추세입니다.

이러한 변화는 개인화와 사용 편의성을 새로운 차원으로 끌어올렸지만, 동시에 사용자를 이해하는 것을 훨씬 더 어렵게 만들고 있습니다. AI의 안내는 표준화 된 전환 퍼널을 따르지 않기 때문이죠. 문제는 여기서 발생합니다. 사용자의 구체적인 여정을 설계하고 추적할 수 없다면, 데이터 분석은 어떻게 해야 할까요?

이번 포스팅에서는 AI 퍼스트 제품이 직면한 세 가지 주요 과제와 Amplitude를 활용한 해결책에 대해 알아보겠습니다.

과제 1: 구식 성과 측정 도구

AI 기반 워크플로우에서는 특정 페이지 뷰나 버튼 클릭과 같은 기존 지표로 사용자 여정을 판단할 수 없습니다. 기존 분석 툴만으로는 특정 기능, 콘텐츠의 성과를 제대로 측정할 수 없다는 것을 의미하죠.

◼️솔루션 1: 이벤트 및 속성(properties) 기반의 성과 측정

Amplitude는 이벤트나 이벤트 속성(properties)을 기반으로 사용자 행동을 포착하고 분석을 수행합니다. 여기서 Amplitude가 제공하는 자연어 처리(NLP) 기능은 사용자와 AI의 대화를 주제, 사용 사례, 테마별로 분류한 다음 대화 결과를 성공 또는 실패로 분류합니다. 즉, LLM을 통해 사용자의 경험을 판단하는 것이죠. 구체적으로 다음과 같은 새로운 유형의 사용자 경험을 평가할 수 있습니다.

• 긍정적인 결과로 이어진 대화의 비율은 얼마인가?
• 에이전트가 문제 해결에 실패한 후 사용자는 주로 어떤 행동을 하는가?
• 가장 많은 사용자 불만을 유발하는 대화 주제는 무엇인가?
• 성공적인 채팅 대화 이후 구독률이 더 높아지는가?
• 사용자에게 답변을 노출하기 위한 최소한의 신뢰도 수준은 어느 정도여야 하는가?

◼️솔루션 2: 정성적 분석 활용

이제 제품 분석은 단순히 '성공'이나 '실패'를 넘어 더 세밀한 사용자 행동 분석이 필요합니다. Amplitude는 이미 여러 정성적 분석 도구를 제공하고 있습니다.

• 세션 리플레이(Session Replay): 전체 사용자 세션을 재구성하여 사용자와 AI의 상호작용을 파악할 수 있습니다. 정량적 분석을 통해 어떤 세션을 시청할지 먼저 파악한 후, 리플레이를 통해 세부적인 맥락을 확인하면 훨씬 시간을 절약할 수 있습니다. 일부 팀은 AI를 활용해 세션을 모니터링하고 유의미한 트렌드를 추출하기도 합니다. "사용자가 채팅 중간에 이탈한 이유는 무엇인가?", "LLM의 응답이 너무 오래 걸릴 때 사용자는 어떻게 행동하는가?" 같은 질문에 답할 수 있습니다.
• 설문조사: 어쩌면 성공과 실패를 보여주는 가장 좋은 지표는 사용자의 주관적인 인식일 수 있습니다. Amplitude는 사용자 경험에 대한 설문조사 기능을 제공합니다. 어떤 경험에 대해 합격/불합격으로 답하거나, 1~5점 척도로 평가하거나, 주관식 피드백을 직접 입력할 수 있습니다. Amplitude에서 제공하는 NLP 기술을 사용하면 이러한 텍스트 피드백을 분류하고 분석하여 환각(hallucinations)을 최소화할 수 있습니다. "에이전트는 사용자가 만족했다고 판단했지만, 사용자는 낮은 점수를 준 경우는 언제인가?", "에이전트에게 불만을 표시한 사용자는 누구이며, 그들은 이후에 어떤 행동을 취했는가?" 같은 질문에 답할 수 있습니다.

◼️솔루션 3: 툴 사용 데이터 분석

Amplitude는 에이전트 워크플로우 내에서 발생하는 툴 사용 내역을 자체적으로 추적할 수 있습니다. 이를 통해 어떤 툴이 가장 많이 사용되는지, 어떤 순서로 사용되는지, 그리고 그것이 워크플로우의 결과와 사용자 만족도에 어떤 영향을 미치는지에 대한 의미 있는 인사이트를 도출할 수 있습니다.

◼️솔루션 4: AI 비용 분석

AI API는 기본적으로 요청당 토큰 사용량을 보고합니다. Amplitude는 프롬프트당 토큰 사용량을 파악할 수 있는 도구를 제공하며, 기능별 또는 고객별 사용량을 모니터링할 수 있는 리포트도 함께 제공합니다. 이제 지출을 최적화하고 AI 도입 비용 대비 확실한 ROI를 확보할 수 있습니다. 이를 통해 "유즈케이스별 에이전트 실행 1회당 평균 비용은 얼마인가?", "전체 고객을 대상으로 최신 LLM을 도입할 때 발생하는 비용적 영향은 어떠한가?" 같은 질문에 답할 수 있습니다.

과제 2: LLM의 비결정론(Nondeterministic)

현재의 기술로는 LLM의 내부를 열어 그 작동 방식을 정확히 들여다보는 것은 불가능합니다. LLM은 결과물의 품질, 비용, 지연 시간(latency)에 영향을 미치는 거의 무한한 입력값(모델 선택, 시스템 프롬프트, 채팅 메시지, 사용자 컨텍스트, 사용 가능한 툴, 모델 매개변수)을 분석하지만, 그 출력값은 예측할 수 없습니다.

◼️솔루션 1: 실험(Experimentation)

AI는 제품에 불확실성을 가져오지만 동시에 최적화를 위한 새로운 기회도 제공합니다. 엔지니어링에서는 AI 벤더, 모델, 시스템 프롬프트 중 하나를 선택해야 하며, 이 모든 과정에 피처 플래그(feature flags)와 실험을 적용할 수 있습니다. 또한 무료 크레딧을 얼마나 제공할지, 어떤 요금제에서 특정 모델에 접근할 수 있는지 등 새로운 가격 및 패키징 대안을 테스트해야 합니다.

Amplitude 기능 실험( Feature Experimentation) 기능을 사용하면 하드코딩된 매개변수를 원격으로 구성 가능한 페이로드(payloads)로 교체하고, 실험을 실행하여 변경 사항의 영향을 파악할 수 있습니다. 이제 "어떤 시스템 프롬프트 변형이 가장 높은 에이전트 만족도를 이끌어내는가?" 또는 "더 높은 추론 수준을 적용하여 발생하는 지연 시간(delay)이 오히려 더 성공적인 채팅을 만들어내는가?"와 같은 질문에 답할 수 있습니다.

◼️솔루션 2: 프로필 API를 통한 사용자 컨텍스트 입력

LLM은 무한에 가까운 일반 지식을 가지고 있지만, 사용자의 상태나 목표에 대한 맥락적 지식은 본질적으로 가지고 있지 않습니다. 이는 서비스에 치명적인 요소가 될 수 있습니다. 사용자가 어떤 유료 요금제를 사용 중인지 모르는 고객 지원 챗봇이나, 사용자의 로열티 프로그램 멤버십을 모르는 항공권 예약 에이전트를 사용하고 싶은 고객은 아무도 없을 것입니다.

Amplitude의 사용자 프로필 API는 CRM, CDP, 데이터 웨어하우스, 인앱 행동 데이터뿐만 아니라 Amplitude 기반의 성향 모델까지 다양한 사용자 데이터를 하나로 통합합니다. 이렇게 결합된 데이터는 최소한의 엔지니어링 작업만으로 스택의 어느 곳으로든 매끄럽게 전달되어 시스템 프롬프트에 입력될 수 있습니다.

◼️솔루션 3: 사용자 프로필 인리치먼트(Enrichment)

데이터 웨어하우스 속 데이터를 모델 학습에 사용하는 것은 모든 기업의 소망입니다. 하지만 학습을 위해 깨끗하고, 신뢰할 수 있으며, 최신 상태인 데이터를 수집하는 데는 여전히 어려움이 따릅니다. 또한 모델의 출력 결과를 바탕으로 실질적인 액션을 취할 수 있는 도구도 필요합니다.

Amplitude는 주요 데이터 웨어하우스 제공업체(Snowflake, BigQuery, S3, Databricks)와의 양방향 통합을 통해 이를 쉽게 해결할 수 있습니다. 데이터 웨어하우스에서 실행된 ML 작업의 결과물을 다시 Amplitude로 가져와 사용자의 프로필을 보강할 수 있습니다. Amplitude 다시 돌아온 이 속성(property) 데이터는 실험, 가이드, 설문조사의 타겟팅에 사용될 수 있습니다. 또한 광고 플랫폼, 마케팅 자동화 및 메시징 툴, CRM 등으로 연동하여 액션으로 이어지게 할 수 있습니다.

과제 3: 외부 시스템에 대한 의존성

대부분 제품은 여러 기능을 외부 파트너에게 의존하고 있습니다. 사용자에게 경험을 전달하는 중요한 경로에 서드파티 API를 호출해 넣는 것은 여러 측면에서 불안정한 요소를 가지고 있죠. 하지만 AI 기능의 경우 직접 모델을 만드는 것이 매우 어렵기 때문에 대안이 없는 경우가 많습니다.

솔루션 1: 지연 시간(Latency) 모니터링

Amplitude는 사용자의 프롬프트와 AI의 응답 사이의 지연 시간을 자동으로 추적합니다. 이를 통해 어떤 사용자 세그먼트나 프롬프트 유형이 큰 지연을 유발하는지 파악할 수 있습니다.(특히 SLA(서비스 수준 계약)를 위반할 경우 작동하는 스마트 알림 기능이 실무에서 유용하게 사용됩니다.) 이러한 지표는 모델 선택, AI 벤더의 성능, 기타 백엔드 인프라 변경에 대한 실험의 근거가 될 수 있습니다.

솔루션 2: 피처 플래그 (Feature flags)

만약 최악의 상황이 발생하여 갑작스러운 지연 시간 급증이 나타나거나 API 엔드포인트가 응답하지 않는 경우, 피처 플래그는 일종의 서킷 브레이커로서 매우 중요한 역할을 합니다. 이를 통해 백업 인프라나 다른 벤더로 신속하게 전환할 수 있습니다.

마치며: 새로운 데이터 분석 환경의 시작

AI의 확산과 함께 데이터를 분석하는 방식도 달라지고 있습니다. 사용자와 실시간으로 반응하기 위해 매개변수, 모델, 인프라를 테스트해야 합니다. 또한 사용자 컨텍스트를 수집하고 이를 시스템 스택의 모든 곳에 전달하여 높은 수준의 개인화 경험을 만들어야 합니다.

Amplitude를 사용하면 응답성, 응답 품질 및 비용에 미치는 영향을 완벽하게 파악하면서 AI 기반 기능과 앱을 지속적으로 개선할 수 있습니다. AI 퍼스트 제품의 사용자 여정이 계속 변하는 것처럼, AI 퍼스트 제품의 미래 역시 끊임없이 움직이고 있습니다. 하지만 이를 실행할 적절한 도구는, 흔들리는 지반 위에서도 굳건한 기반을 다지는 데 큰 도움이 될 것입니다.

👉Amplitude 도입 문의하기

< 함께 보면 좋은 콘텐츠 >

🔗AI 검색 시대의 필수 도구: Amplitude AI Visibility 출시

🔗고객의 목소리를 한 곳에서 Amplitude AI Feedback

🔗고객 여정을 추정하는 25가지 실무 지표 프레임워크 마케팅 지표 가이드북