모바일 게임의 성과를 측정할 때 가장 중요한 지표는 아마 리텐션일 것입니다. 리텐션을 측정하는 기본적인 방식은 어느 서비스나 동일하지만, 서비스나 산업에 따라 그 특성에 맞는 상세한 리텐션 설정 기준과 측정 방법이 존재합니다. 모바일 게임 서비스도 마찬가지로 게임이라는 특성에 맞는 적합한 리텐션율 측정법이 있습니다.

리텐션율은 크게 'N-day 리텐션율', 'Unbounded 리텐션율', 'Bracketed 리텐션율' 3가지로 나뉩니다. 이중 모바일 게임에 가장 많이 적용하는 지표는 N-day 리텐션율입니다. 이유가 무엇일까요? 이번 포스트에서는 모바일 게임에 적합한 리텐션 설정 방법과 그 이유에 대해서 알아보겠습니다.

N-day 리텐션 vs Unbounded 리텐션

N-day 리텐션은 사용자가 처음 앱을 사용한 이후, 지정된 날에 앱으로 돌아오는 비율을 말합니다. 예를 들어, 2일차 N-day 리텐션율이 50%라면, 새로운 유저의 50%가 2일차에도 앱을 실행했다는 것을 의미합니다. 반면, Unbounded 리텐션은 특정한 날짜에 앱으로 돌아오는 사용자의 비율이나 이후의 임의의 날짜를 측정합니다. 만약 2일차 Unbounded 리텐션율이 50%라면, 새로운 사용자의 50%가 2일차를 포함한 그 이후에 한번이라도 앱을 사용했다는 것을 뜻합니다.

아래는 동일한 모바일 애플리케이션에 대한 N-day 리텐션과 Unbounded 리텐션(Rolling Retention)을 비교한 그래프입니다.

그래프를 보시면 알겠지만, 두 지표 간의 차이는 상당히 큽니다. 이 사실을 모른채로 아무 리텐션 지표를 모니터링한다면, 중요한 비즈니스 의사결정에 큰 오류가 생길 수 있겠죠.

Day 1을 기준으로 보면 N-day 리텐션은 43%로, 신규 유저 중 43%가 앱을 처음 사용한 후 첫 번째 날에 앱을 실행했다는 것을 의미합니다. 반면, Unbouded 리텐션은 59%로, 이는 새로운 사용자 중 59%가 Day1을 포함하여 그 이후의 어느 날이든 한번 이상 앱을 실행했다는 것을 의미합니다.

N-day 리텐션을 사용하면, 앱을 가장 처음 실행한 이후 N일이 지난 시점까지 앱으로 얼마나 많은 사용자가 돌아오는지 정확한 비율을 알 수 있습니다. 따라서 모바일 게임같이 유저가 매일 플레이하는 것이 목표인 애플리케이션은 N-day 리텐션이 적합하다고 할 수 있죠.

물론 N-day 리텐션이 항상 정답은 아닙니다. 어떤 케이스에서는 매일은 아니더라도 조금 긴 텀을 가지고 사용자가 돌아오는 것이 유의미할 수 있습니다. 대표적으로 모바일 임대료 결제 앱이라면, 사용자가 매월 한 번씩만 앱을 사용하여 결제를 하는 것이 앱 성공의 기준이 될 수 있겠죠. 이 경우에는 N-day 리텐션보다는 Unbouded 리텐션을 측정하는 것이 유용할 것입니다. 흔한 케이스는 아니겠지만, 특정 게임도 Unbouded 리텐션을 사용하는 것이 적합할 수 있습니다. 예를 들어 '텐텐 오락실'이라는 앱은 술자리나 많은 사람들이 모인 자리에서 다 함께 플레이하는 모바일 게임입니다. 이런 류의 게임의 경우, 유저가 매일 습관적으로 접속하길 기대하지 않겠죠.

시간 기준 리텐션 VS 날짜 기준 리텐션

N-day 리텐션과 Unbounded 리텐션 차이 외에도, 시간 기준과 날짜 기준으로 리텐션 계산 방법을 나눌 수도 있습습니다. 시간 기준으로 계산한다면, 각 사용자별 접속 시간을 기준으로 날짜를 구별합니다. 즉, Day 0는 사용자가 앱을 최초로 실행시킨 시간부터 24시간이 지난 시간인 0 ~ 24시간 사이를 의미하고, Day 1은 24시간부터 48시간 사이를 의미합니다. Day 1 리텐션율이 10%라고 가정해본다면, 1,000명의 사용자 중에서 100명이 각각의 처음으로 앱을 실행한 이후 24시간에서 48시간 사이에 앱을 한번 이상 더 실행했다는 것을 뜻합니다. 만약 사용자 X가 화요일 오후 4시에 처음으로 앱을 실행했다면, 수요일 오후 4시와 목요일 오후 4시 사이에 앱을 다시 열었다는 뜻입니다.

반면, 날짜를 기준으로 계산할 때, 리텐션 차트는 그저 달력상의 날짜를 기준으로 측정됩니다. 만약 어떤 사용자가 10월 1일 오후 11시에 처음으로 앱을 실행했다면, 이 사람의 Day 0는 10월1일, Day 1는 10월 2일이 될 것입니다.

아래 그래프는 앞서 살펴본 동일한 앱에 대한 시간 기준 리텐션과 날짜 기준 리텐션 수치입니다.

처음 며칠 동안에 가장 뚜렷한 차이가 나타난다는 것을 알 수 있습니다. 날짜 기준 Day 1 리텐션은 43%인 반면, 시간 기준 Day 1 리텐션은 32%에 불과합니다. 하지만 시간이 흐름에 따라, 두 그래프 간의 차이는 줄어들고 이 둘을 구별하는 의미는 많이 사라진다고 볼 수 있습니다.

시간 기준과 날짜 기준을 구별하는 이유

시간이 흐름에 따라 구별 의미가 줄어들면 굳이 이 두 지표를 나누는 이유가 있나 궁금해질 겁니다. 하지만 우리가 리텐션 지표를 평가할 때는 보통 앱 출시 초기에 다른 앱의 리텐션 지표와 비교하는 식으로 많이 진행합니다. 이 때, 다른 기준의 리텐션 지표를 비교하면 분명 큰 오류가 생기겠죠. 빠르게 시장 반응을 살피고 대응해야하는 앱 출시 초기에는 이 오류가 치명적으로 작동할 수 있습니다.

예를 들어, 모바일 게임 초기 버전을 런칭한 후 Day 1 리텐션율이 32%라고 가정해봅시다. 이것만으로는 리텐션이 잘 이루어지고 있는지 판달할 수 없겠죠. 최대한 유사한 게임과 리텐션율을 비교해보아야합니다. 만약 이 때, 시간 기준과 날짜 기준 리테션 지표를 잘못 비교한다면, 제대로된 벤치마크가 되지 않겠죠.

결국 어떤 지표로 모바일 게임을 측정해야하나요?

리텐션 지표에 정해진 정답은 없습니다. 그렇지만 일반적인 경우에는 날짜 기준 리텐션보다는 시간 기준 리텐션이 더 정확한 현황을 보여준다고 할 수 있습니다. 하지만 시간 기준 리텐션은 정확한 데이터를 얻는데 하루 더 걸린다는 단점이 있습니다. 앱 출시 초기라면 하루 일찍 대응하는 것의 차이가 큰 결과 차이를 만들 수 있죠.

정리하자면, "일반적인 모바일 게임이라면 N-day 리텐션을 측정하는 것이 좋지만, 간혹 매일 들어오는 것을 원하지 않는 게임일 경우 Unbounded 리텐션 지표를 사용하는 것이 좋을 수 있으며, 또 기본적으로 시간 기준 리텐션을 측정하는 것이 정확하나, 데이터를 더 빨리 얻어야 할 때는 날짜 기준 리텐션을 먼저 살펴보는 것이 좋다." 정도가 될 것 같습니다.

다시 한번 말하지만 리텐션에 정해진 정답은 없으며, 각 지표가 정확히 무엇을 측정하는 것인지 알고 있다면, 어떤 상황에서든 데이터 기반의 유의미한 인사이트를 도출할 수 있을 것입니다.