PM이라면 꼭 알아야 할 데이터 해석 오류 7가지

“데이터를 수집하고, 분석하고, 해석하여 의사결정을 내린다.”

우리는 이걸 데이터 기반 의사결정이라고 부릅니다. 가령, ‘신규 앱 UI를 배포했는데 유저가 오히려 떠나가네? 신규 UI에 문제가 있구나. 과거 UI로 되돌리자’와 같은 의사결정을 할 수 있는 것이죠.

앱, 웹과 같은 디지털 제품부터, 마케팅, 영업, 비즈니스 거의 모든 분야에 데이터 기반 의사결정이 도입되고 있습니다. 너도 나도 데이터 기반 의사결정을 도입하는 이유는 간단합니다. 직관이 아닌 근거있는 의사결정을 내릴 수 있기 때문이죠.

하지만 데이터를 해석하는 과정에서 직감이 개입된다면 어떨까요? 데이터 기반 의사결정을 도입한 이유가 사라지게 될 겁니다. 안타깝게도 이런 편향된 데이터 해석은 실무에서 굉장히 빈번하게 발생합니다. 심지어 데이터 전문가라도 편향은 피할 수 없습니다.

더 큰 문제점은 편향은 눈에 띄지 않는다는 것입니다. 자신이 편향되어 있다는 사실 조차 인식하기 어렵다는 것이죠. 이것을 우리는 ‘편향 맹점(Bias Blind Spot)’이라고 부릅니다. 데이터 해석 오류를 줄이기 위한 첫단계는 ‘나는 언제나 편향된 해석을 할 수 있다’라고 인정하는 것에서부터 출발합니다. 사람이라면 그 누구도 이런 편향에서 자유로울 수 없습니다.

이번 포스팅에서는 데이터를 해석하면서 발생하는 가장 흔한 편향 유형과 그에 대한 대처 방법을 알아보겠습니다. 특히 데이터를 기반으로 제품의 방향성을 결정해야 하는 PM의 업무를 중심으로 살펴보겠습니다.

내러티브 오류(narrative fallacy)

내러티브 오류는, 우연과 복잡성으로 이루어진 사건을 더 쉽게 이해하고 기억하기 위해 이야기(내러티브)를 꾸며서 인과관계가 있는 것처럼 해석해버리는 심리적 습관을 말합니다. 인간은 단순한 것을 좋아합니다. 그리고 완결성 있는 스토리를 좋아합니다. 관련이 없는 것을 어떻게든 엮어서 환경을 통제하고 싶어하죠.

흔히 발견할 수 있는 내러티브 오류로 졸업식 연설 같은 것이 있습니다. 가령, 래리 페이지는 많은 졸업식 연설에서 “세상을 바꿀 수 있는가”를 기준으로 꿈을 판단하고 도전하라고 말하였지만, 사실 구글은 세상을 바꾸겠다는 야망에서 시작된 것이 아니라, 그저 대학생의 작은 아이디어에서 출발했습니다.

경제학자 타일러 코웬은 대부분의 사람들이 자신의 삶을 이야기와 여정으로 묘사한다고 말합니다. 그게 훨씬 이해하기 쉽고 드라마틱하기 때문이죠. 하지만 이런 방식은 위험할 수 있습니다. 내러티브는 원인과 결과를 지나치게 단순하게 만들고, 때로는 오만한 태도로 이어집니다.

유사한 오류로 ‘인과 편향(Causation Bias)’이 있습니다. 인과 편향은 인과 관계가 존재하지 않는(혹은 단순한 상관관계만 있는) 상황에서 원인-결과 관계를 가정하는 경향을 말합니다. 내러티브 오류가 이미 벌어진 일을 그럴듯한 이야기로 재구성하는 사후 합리화 성격이 강하다면, 인과 편향은 사건이 진행 중이거나 결과가 확정되지 않은 단계에서도 단순한 연관을 곧바로 원인과 결과로 단정짓는 성향이라고 할 수 있습니다.

내러티브 오류를 잘 설명하는 또 다른 이론으로는 ‘텍사스 총잡이 오류(Texas Sharpshooter Fallacy)’가 있습니다. 한 카우보이가 헛간 벽을 향해 무작위로 총을 쏩니다. 그리고 벽 한 곳에 총알 구멍이 많이 모여 있는 것을 발견합니다. 카우보이는 그 많은 구멍이 있는 곳 위에 과녁을 그립니다. 처음 보는 사람은 그가 정확히 목표를 조준해 쏜 것처럼 보입니다.

제품관리 사례

파란색 CTA(Call To Action: 클릭 유도 문구)와 빨간색 CTA 중 어떤 버튼이 클릭률이 높은지 A/B테스트를 실행했습니다. 그리고 파란색 버튼이 승리했죠! 이를 두고 모두가 왜 파란 버튼이 빨간 버튼을 이겼는지 설명하려고 합니다.

파란색이 사람을 차분하고 안전하게 느끼게 하기 때문이다, 파란색이 브랜드 이미지와 일치하기 때문이다 등 100명에게 물으면, 100개의 다른 답을 들을 수 있을 것입니다.

하지만 우리는 파란 버튼이 왜 승리했는지 알 수 없으며, 사실 그 이유가 중요하지도 않습니다. 중요한 건 파란버튼이 이겼다는 사실 하나뿐이죠.

제품 최적화와 성장 관점에서 스토리텔링은 정말 위험합니다. 실험의 목적은 모든 가능성을 객관적으로 관찰하는 것에 있는데, 특정 시나리오에 대한 믿음은 다른 실행 가능한 대안을 살펴보지 못하게 하고 새로운 학습 기회를 제한합니다.

대처 방법

결과를 알고 난 후 가설을 세우지 않도록 합니다. 그리고 가설에 맞는 데이터 포인트만 골라내지 않도록 주의해야 합니다. 실험 전, 객관적인 사전 가설을 먼저 세우고, 결과와 대조하세요. 또한, 한 번의 실험으로 성급한 결론을 짓지 않고 다방면으로 실험을 진행하여, 종합적인 결론을 만드는 것이 좋습니다.

가장 좋은 것은 굳이 이유를 찾지 않는 것입니다. 명확한 이유를 이해하지 않고 넘어가면 같은 실수를 반복하게 되고 다음 실험 때, 처음부터 다시 시작하게 되지는 않을지 걱정이 들 수도 있습니다. 하지만 명확한 증거가 없는 가설을 참이라고 믿는 것이 더 위험하며, 이유를 단정짓지 않더라도 실험 결과를 바탕으로 다른 행동이나 실험에 그대로 적용하는 것은 여전히 가능합니다.

확증 편향

확증 편향은 “기존의 믿음이나 가설을 확인해 주는 방식으로 정보를 찾고, 해석하는 것’을 말합니다. 가장 흔한 오류이며, 흔한만큼 한번쯤은 이름을 들어봤을 것 같습니다.

강한 의견을 가지고 시작해, 그 의견을 뒷받침하도록 데이터를 해석하고 조작하려 할 때 확증 편향적인 모습을 많이 확인할 수 있습니다. 기존 믿음과 반대되는 정보는 거의 고려하지 않거나, 하더라도 극도록 불균형적으로 고려하게 되죠. 내러티브 오류와 유사해보이지만, 내러티브 오류가 해석 과정에서 발생한다면, 확증 편향은 데이터 해석 전부터 이미 발생한다는 차이가 있습니다.

상사가 이미 결정한 의견에 맞춰 보고서를 작성하거나, 자신이 지지하는 정당의 의견을 뒷받침하는 정보만 찾아보는 등 우리 주변에서도 아주 쉽게 관찰할 수 있습니다. 과학 논문, 전략 컨설팅 등 전문적인 분야에서도 확증 편향은 만연합니다. 원하는 답을 얻기 위해 변수를 조정하고, 고객사가 원하는 방향으로 컨설팅이 진행되는 식이죠.

제품관리 사례

제품관리에서 나타날 수 있는 확증 편향은 다양합니다. 가장 단순하게는 원하는 결과가 나오면 A/B 테스트를 조기에 종료하는 행동이 있습니다. “역시 내 생각이 맞았어”라고 생각하며, 이를 망칠 수 있는 가능성을 조기에 차단해버리는 것이죠.

여러 KPI가 충돌할 때, 원하는 결론을 위해 판단 기준을 갑자기 설정하는 경우도 있습니다. 예를 들어, A/B테스트 결과, 변형 B가 클릭과 참여에서 크게 이겼지만, 방문자당 수익은 약간 떨어지는 결과가 나왔습니다. B가 이기길 원하던 PM은 클릭과 참여를 가장 중요한 지표로 설정하여, 변형 B가 승리했다고 결론짓습니다.

설문조사나 사용자 테스트와 같은 정성적 데이터 분석에서는 확증 편향이 더 심합니다. 가령, 탐색 바가 혼란스럽다고 생각하며 시작한 사용자 테스트에서는, 사용자가 탐색 바 근처에서 머뭇거리는 순간에만 집중하고 나머지 90%의 시간은 무시합니다. 설문조사에서는 원하는 대답을 유도하는 방식으로 질문을 만들 수 있고, 분석 단계에서 원하는 대답을 뽑아낼 수도 있습니다. 정성적이기에 객관적으로 맞지 않아도 원하는 방향으로 결론짓기 쉽죠.

대처 방법

확증 편향을 완전히 피할 수는 없지만, 확증 편향이 일어날 수 있다는 사실을 인식하기만 해도 많은 예방을 할 수 있습니다.

• 실험 전, 명확한 지표와 판단기준을 설정해 사후 정당화와 데이터 선택을 방지
• 가장 중요한 한 가지 지표 즉, 핵심 지표를 설정하여, 모든 판단의 최상위 기준을 만들기
• 중립적인 설문 질문을 만들기 위해 노력하고, 결과는 제3자가 검토

심슨의 역설(Simpson’s Paradox)

심슨의 역설은 겉으로 보이는 전체 데이터의 경향(집계된 결과)과, 그 데이터를 집단별로 나누어 살펴본 경향(세부 그룹 결과)이 서로 정반대로 나타나는 상황을 말합니다. 데이터 해석에 굉장히 치명적이지만, 발견하기는 어려운 오류라 가장 조심해야 합니다.

대표적인 사례로 버클리 대학교의 성차별 연구가 있습니다. 해당 연구에서 여성의 대학원 지원 합격률은 35%에 불과한 반면, 남성의 합격률은 44%가 나왔습니다. 얼핏 보기에는 입시 과정에 남성에게 유리한편향이 있는 것처럼 보입니다.

하지만 학과별 합격률을 확인했을 때는, 남성에게 유의미한 편향을 보인 학과는 단 하나도 없었습니다. 더 깊이 조사해보니 사실 남성은 공대와 같이 경쟁률이 낮은 학과에 지원하는 경향이 강했고, 여성은 경쟁률이 높은 학과에 지원하는 경향이 강했습니다. 결국, 입시 과정에 남성에게 유리한편향은 없던 것이죠.

제품관리 사례

매출이나 유저 트래픽과 같은 광범위한 지표만으로는 비즈니스가 실제로 어떻게 되고 있는지에 대한 진실을 볼 수 없습니다.

가령 어떤 앱 서비스의 매출이 매달 10%씩 증가하고 있다면, 원하는 성과가 잘 나오고 있다고 판단할 수 있죠. 하지만 사실 매출 증가보다 더 많은 비용을 고객 유입 마케팅에 사용하고 있고, 사용자 숫자가 늘어나 서버가 트래픽을 제대로 감당할 수 없어 앱 로딩 속도가 떨어졌고, 이로 인해 고객 인당 매출은 오히려 줄어들어, 늘어난 고객 숫자 대비 매출 증가 정도가 낮은 상태일 수도 있습니다. 거기다 늘어난 고객을 리텐션(유지)하는 데 필요한 비용과 이탈(churn)도 고려해야겠죠.

대처 방법

모든 지표를 작은 요소로 분해하고 추적하세요. 가령, 총 매출의 출처를 업셀링과 신규 획득으로 분리하여 매출 성장의 출처를 명확하게 파악하세요. 특히 수익화 전략에 대해 이해하고 체계적인 관리 시스템을 가지는 것이 좋습니다. 고객 획득 비용이 높은 것에 반해 고객 생애가치가 낮다면, 피보팅이 필요하다는 신호일 수 있습니다.

더닝–크루거 효과

더닝–크루거 효과는 무능한 사람이 자신이 훨씬 능숙하다고 생각하는 현상입니다. “무능한 사람들은 자신이 얼마나 무능한지 인식하지 못한다 아니, 인식할 수 없다”는 것입니다. 또는 고도로 숙련된 사람이 자신의 능력을 과소평가해, 자신에게 쉬운 일이 모두에게도 쉬울 것이라 생각하는 경우도 더닝-크루거 효과입니다.

더닝-크루거 효과는 여러 방면에서 데이터 의사결정에 악영향을 미칩니다. 특히 직관에 의한 의사결정의 가장 흔한 원인이 바로 더닝-크루거 효과입니다.

제품관리 사례

가장 쉬운 사례는 수직적인 직장 문화와 더닝-크루거 효과가 겹치는 경우입니다. 상사가 당신보다 잘 안다고 생각해 UI를 바꿀 필요 없다고 주장한다면, 데이터로 무엇을 설득하든 무시될 수 있습니다. 또한 경영진이 잘못된 지표를 가지고 가짜 성장을 추구할 수도 있죠.

PM이 자기 자신이 능력을 자만하여 잘못된 실험 설계, 잘못된 데이터, 잘못된 의사결정으로 제품을 병들게 할 수도 있습니다.

대처 방법

사실 더닝-크루거 효과를 획기적으로 대처하는 것은 쉽지 않습니다. 무능한 사람은 이미 귀를 닫고 들을 생각을 하지 않기 때문이죠. 유일한 방법은 실패를 학습으로 받아들이는 실험 문화를 조성하고, 개인의 예측이 아닌 탐구와 데이터 기반 실험을 통한 개선입니다. 그리고 모두가 스스로 자신의 능력에 대해서 곰곰히 고민해볼 필요가 있습니다.

역효과(Backfire Effect)

역효과는 사람들이 반박 증거에 직면했을 때 오히려 자신의 믿음을 강화하는 현상을 말합니다. 정치에서 특히 많이 관찰할 수 있는 현상이죠.

가령, 한 이커머스 회사는 컨설팅 사에게 데이터 분석 및 전략 자문을 요청했습니다. 컨설팅 결과, 광고 집행 관련 프로세스에서 한번도 테스트를 하지 않았다는 사실과, 비효율적인 타겟팅으로 엄청난 돈이 낭비되고 있다는 사실을 발견했습니다. 그러나 이런 제안에 귀를 기울이지 않고, 데이터가 사실일 리 없다고 반발했습니다. 자신의 세계관과 맞지 않는 사실이 제시되자, 기존 신념을 더욱 강화한 것입니다.

제품관리 사례

한 회사는 자사 페이지로 유입되는 주요 채널을 분석하였습니다. 분석 결과, 가장 중요할 것이라 여기고 광고비용도 가장 많이 사용한 인스타그램에서의 유입은 생각보다 적었고, 많이 저문 채널이라 여겨, 광고비용을 최소한으로만 집행한 페이스북에서의 유입은 오히려 인스타그램보다 많았습니다. 비용대비 성과가 훨씬 높은 페이스북의 마케팅을 강화해야 했지만, 해당 회사는 ‘우리가 인스타그램의 유저가 원하는 광고를 잘 집행하지 못했다’고 생각하며, 인스타그램의 광고를 오히려 강화했습니다.

꽤 바보같아 보이는 사례지만, 의외로 이런 사례는 정말 흔합니다. 특히 새로운 반박을 받아들이게 되면 기존의 업무들과 프로세스가 다 물거품이 되는 경우, 해당 반박을 받아들이기 쉽지 않습니다. 해당 반박이 틀렸고 나의 믿음이 맞다고 더 강하게 믿는 편이 훨씬 수월하기 때문이죠.

대처 방법

검증되지 않은 아이디어와 의견은 항상 가설로만 남겨둡니다. 그리고 반박 증거를 새로운 지식으로 겸허히 받아들여야 합니다. 또한 과정과 규율에 가치를 두는 실험 문화를 만들어야 합니다.

편승 효과(Bandwagon Effect)

편승 효과는 “많은 사람들이 하기 때문에 혹은 믿기 때문에, 똑같이 하거나 믿는 경향”을 말합니다. 집단사고와 군중 심리와 깊이 관련됩니다.

사람들은 단지 인기 있다는 이유로 어떤 아이디어나 전략을 지지합니다. 앞서 언급한 다른 편향들이 존재하는 조직에서는 이 효과가 복합적으로 작용하기도 합니다.

제품관리 사례

회의를 통해서 다수가 동의한 결론을 선뜻 반박하지 못하는 경우가 가장 흔한 편승 효과 케이스입니다. 이런 경우, 데이터를 가장 많이 접한 PM이나 분석가가 용기를 가지고 반박할 필요가 있습니다.

앞에서 살펴본 인스타그램 사례도 일종의 편승 효과가 작동한 결과입니다. 인스타그램이 페이스북보다 인기있고, 많은 사람들이 사용한다는 이유로, 데이터를 통해 입증된 결과까지 부정하게 하는 것이죠.

또 다른 사례로는 단순히 유행한다는 이유로, 자사 제품의 특성을 고려하지 않고 도입하는 경우가 있습니다. 숏폼이 유행하기 때문에, 자사 앱과 결이 맞지도 않은 숏폼 탭을 추가하는 경우, 한번쯤 본적 있지 않나요? ‘우리 앱에도 숏폼 기능을 도입하자’라는 결론이 나오고 난 뒤라면, 이 기능을 유저가 좋아하지 않는다는 걸 어떤 데이터를 통해서 반박하더라도 ‘우리가 아직 이 기능을 제대로 홍보하지 못하였다’, ‘우리 콘텐츠가 아직 적어서 그렇다’ 등 어떤식으로든 합리화가 가능합니다. ‘사용자들은 숏폼을 좋아한다’라는 전제조건이 머리 속에 박혀있기 때문이죠.

대처 방법

• 아이디어를 익명으로 제시해 동조 압력 줄이기
• 아이디어를 강요하지 않고, 과정과 실험 자체에 초점 두기
• 실험 결과와 지식을 계속 업데이트해 집단적 순응에서 벗어나기

제멜바이스 반사(Semmelweis Reflex)

1845년에, 한 종합병원에서 산모의 사망률이 7%에서 12%로 급등했습니다. 해당 병원의 의사였던 이그나츠 제멜바이스는 분명 뭔가 잘못되었다 생각했습니다. 일련의 실험을 한 후, 그는 원인이 손 씻기에 있다는 것을 알아차렸습니다. 부검을 한 손 그대로 수술실로 가는 경우가 빈번했고, 이는 환자의 감염과 죽음으로 이어졌죠.

그는 즉시 전공의들에게 손을 씻기 시작하라고 지시했습니다. 하지만 제멜바이스의 의견은 묵살되었고 심지어 정신병원에 수용되었습니다. 의사들은 작고 보이지 않는 입자들이 그렇게 많은 죽음의 책임이 될 수 있다는 전제를 받아들이지 않았습니다.

제멜바이스 반사는 새로운 증거가 기존 신념·관습·패러다임을 뒤흔들 때, 내용 자체를 검토하지도 않고 반사적으로 거부하는 태도를 뜻합니다.

제품관리 사례

새롭게 출시한 앱의 DAU와MAU 비율을 측정한 결과 45%라는 수치가 나왔습니다. 모두들 기뻐했죠. 이 수치는 페이스북의 초기 시절에 관찰되던 전설적인 비율이었기 때문입니다. 하지만 한 팀원이 다음과 같이 반박합니다.

• 그것이 매일 사용자 25,000명이 방문하고 있지만, 그들 중 대부분이 리텐션되고 있지 않음. 즉, DAU 대부분이 신규 방문자.
• 사용자 중 오직 1,000명만이 앱의 핵심 기능을 사용함
• 제품의 어떤 기능이 실제로 사용자를 다시 돌아오게 만드는지 불분명함

하지만, 팀장은 해당 반박을 무시합니다. 지금의 기쁜 심정을 망치고 싶지 않기 때문이죠. 그러나 시간이 지나고 초기 홍보 효과가 사라질 때쯤, 현실과 마주하게 됩니다.

대처 방법

성공 여부를 확실히 판단하기 위한 확실한 프로세스를 구축하세요. 가장 대표적으로 우리가 잘 아는 AARRR프레임워크가 있습니다. 유입부터 추천에 이르기까지 고객 퍼널의 각 단계를 실제 행동 지표로 추적할 수 있습니다.

마치며

인지 편향은 피할 수 없습니다. 편향은 무의식에서 발생하여, 스스로 인지도 못한채 잘못된 데이터 해석을 초래합니다. 하지만 인지 편향의 존재를 인식하는 것만으로도 많은 위험을 완화할 수 있습니다. 데이터를 해석할 때 언제나 인지 편향적인 오류가 없는지를 먼저 생각하는 것이 좋습니다.

가장 중요한 것은 조직 문화입니다. 의사결정에 객관적인 데이터를 사용하는 데이터 의사결정 문화와 실패를 학습으로 받아들이는 실험 문화를 조성하고, 각 구성원이 노력한다면, 데이터는 우리의 생각보다 훨씬 더 큰 가치를 제공할 것입니다.

콘텐츠 더 읽어보기

• Amplitude 데이터 건강 관리 3단계
• 프리미엄 가이드: 데이터 활용 레벨 체크리스트
• 영상자료: [코코네] 실무자의 성장도 여정입니다: DX를 실현하는 실무자 여정 설계