Amplitude AI를 열고 질문을 입력합니다. “지난주 활성 사용자가 몇 명이었지?” AI가 즉시 답변을 내놓습니다. 그럴듯한 설명과 함께 수치를 제시하지만 그 수치는 틀렸습니다. 아마 Amplitude AI를 사용해보았다면 이런 경험이 한 번쯤은 있을 것입니다.
AI가 간단한 산수도 아직 못하는 걸까요? 아닙니다. ‘활성(active)’이라는 단어가 정확히 무엇을 의미하는지 아무도 AI에게 알려주지 않았기 때문입니다. 아무 맥락도 없는 상황에서 에이전트는 추측을 할 수밖에 없습니다. 활성 기준을 앱 실행으로 잡았을 수도 있고, 세션 시작으로 잡았을 수도 있습니다.
AI가 질문에 틀린 답을 내놓는다면, 그 원인은 대부분 컨텍스트 격차, 즉 맥락의 부재에 있습니다. Amplitude의 AI 컨텍스트 제어 기능을 사용하면 쉽고 빠르게 이런 문제를 해결할 수 있습니다.
AI 컨텍스트(AI Context)란?

AI 컨텍스트는 일종의 설정 레이어입니다. 사내에서 합의한 정의를 이곳에 기록해 두면, AI는 훨씬 더 명확한 기준을 가지고 답변을 수행할 수 있습니다.
합의된 정의는 크게 두 가지로 나눌 수 있습니다. 첫 번째는 조직 수준(Org-level)의 규칙입니다. 활성 사용자, 매출 집계 기준, 타겟 사용자와 같은 전사적 기준입니다. 이러한 규칙은 모든 곳에 적용됩니다. 한 번만 설정해 두면 모든 프로젝트가 이를 그대로 물려받아 사용합니다.
두 번째는 프로젝트 수준(Project-level)의 규칙입니다. 프로젝트 수준 규칙은 범위가 더 좁습니다. 특정 기능이나 도메인에 국한된 세부적인 뉘앙스를 다룹니다. 예를 들어, 특정 제품 화면에 어떤 이벤트들이 속하는지, 혹은 비즈니스의 특정 영역에서만 통용되는 정의가 무엇인지 등을 설정합니다.
상충하는 컨텍스트
컨텍스트 설정에서 가장 흔한 실수 중 하나는 조직 수준 규칙과 프로젝트 수준 규칙을 서로 모순되게 설정하는 것입니다.
예를 들어, 조직 수준 규칙에서는 ‘활성 사용자’를 ‘핵심 액션을 완료한 사람’으로 정의했는데, 어느 프로젝트에서는 활성 사용자를 ‘세션 시작’ 기준으로 정의했습니다. AI는 서로 상충하는 두 개의 지침을 가진 채 질문자가 어느 쪽을 원하는지 알 수 없게 됩니다.
이는 컨텍스트가 아예 없는 상태보다 훨씬 나쁩니다. 컨텍스트가 없는 상태에서는 AI도 답변을 조심스럽게 하며 사용자에게 재차 확인을 요청하기도 합니다. 하지만 모순된 컨텍스트를 기반으로 내놓은 오답은 그럴듯해 보이기 때문에 훨씬 더 위험합니다.
이를 방지하려면 프로젝트 수준 규칙은 조직 수준의 정의를 덮어쓰기보다는 구체화하는 역할을 해야 합니다. 만약 특정 프로젝트에서 정말로 다른 정의가 필요하다면, 새로운 규칙을 만들기 전에 조율을 통해 먼저 합의해야 합니다.
같은 질문, 두 가지 답변
그럼 처음에 던졌던 질문인 “지난주 활성 사용자가 몇 명이었지?”로 돌아가서, AI 컨텍스트가 있을 때와 없을 때의 답변을 비교해 보겠습니다.
- AI 컨텍스트가 없을 때: 에이전트가 이벤트 데이터를 스캔한 뒤, 활동 신호처럼 보이는 무언가(대개 ‘앱 열기’처럼 가장 빈번하게 발생하는 이벤트)를 임의로 선택해 숫자를 반환합니다. 그럴싸해 보이지만, 팀이 실제로 합의한 기준에는 전혀 근거하지 않은 수치입니다.
- AI 컨텍스트가 있을 때: 조직 수준 규칙이 활성 사용자를 ‘지난 7일 동안 핵심 가치 액션을 완료한 사람’으로 정의하고 있습니다. 에이전트는 이 정의를 직접 적용하고, 계산에 어떤 이벤트를 사용했는지 명확히 밝힌 뒤 정확한 숫자를 제공합니다.
같은 AI 모델이 같은 질문에 답했지만, 답변의 신뢰도가 완전히 달라집니다.
방치된 컨텍스트의 위험성
AI 컨텍스트 설정은 일회성 작업이 아닙니다. 제품은 계속 변하고, 정의도 바뀝니다. 1분기에 정했던 규칙이 3분기에는 틀린 것이 될 수 있습니다. 하지만 AI는 예전과 다름없이 대답하기 때문에 아무도 문제를 눈치채지 못합니다.
컨텍스트 방치를 예방하려면 다음과 같은 예방을 권장합니다.
- 명확한 담당자 지정: 팀 단위가 아닌, 명확한 특정 구성원이 AI 컨텍스트의 유지보수와 정확성에 대해 오너십을 가져야 합니다.
- 점검 일정 캘린더화: 제품이 변화한 내용에 비추어 조직 및 프로젝트 규칙을 짧게나마 점검하세요. 1년에 네 번 정도만 투자해도 전체 시스템의 신뢰성을 효과적으로 높일 수 있습니다.
마무리: 손쉽게 완성하는 AI 컨텍스트
팀에서 잘못된 답변이 나왔다고 AI 탓을 할 때마다, 실제로는 모델이 자신이 해야 할 일을 정확히 수행했을 가능성이 큽니다. AI는 주어진 데이터와 정의를 가져와 가진 정보 안에서 최선을 다해 작업한 것입니다. 주어진 정보가 불완전했다면, AI가 추측을 할 수밖에 없습니다.
1시간도 안 되는 시간을 투자하면 이런 문제를 해결할 수 있습니다. 지금 바로 AI 컨텍스트 설정을 열고, 컨텍스트를 입력해 보세요. Amplitude에 내장되어 있는 업계 표준 템플릿을 활용하면 더 빠르게 설정 작업을 완료할 수 있습니다.
< 함께 보면 좋은 콘텐츠 >
🔗비즈니스 성장을 이끄는 AI 데이터 관리 팁 5가지: AI를 활용한 데이터 관리
🔗Amplitude 활용 점검: AI 마케팅 워크시트
🔗현상 파악을 넘어 원인 진단까지: Amplitude 자동화 인사이트
앰플리튜드, 자동화, 인공지능(AI), 데이터 분석, Amplitude AI