리텐션, 기준을 바꾸면 정반대로 보인다

“재방문율이 매달 좋아지고 있어요.” 이런 대시보드를 보면 기분은 좋은데, 나는 한 번 더 물어본다. 그 재방문율이 누구 기준이냐고. 기준을 바꾸면 같은 데이터가 정반대로 읽히는 게 리텐션이다.

이 글은 그 함정 두 개에 대한 거다. 회사 데이터 대신, 유저를 두 종류로만 나눈 아주 단순한 합성 모델로 보여주려고 한다.

유저를 두 종류로만 나눈다

유저가 두 종류라고 하자. heavy는 매달 잘 남고(재방문 확률 0.9), light는 잘 빠진다(0.4). 전체의 30%가 heavy, 70%가 light. 그러면 가입 코호트의 t개월 차 리텐션은 이렇게 된다.

retention(t) = 0.3 * 0.9**t  +  0.7 * 0.4**t

이 단순한 모델에서 흔한 오독 두 개가 나온다.

함정 1: “매달 좋아지는 재방문율”이 사실은 이탈 신호

리텐션을 재는 기준은 크게 두 가지다.

• 가입 코호트 기준: 이번 달 가입자 중, t개월 뒤에도 남은 비율
• MoM(지난달 활성자 기준): 지난달 활성 유저 중, 이번 달에도 온 비율

같은 유저 집단인데 이 둘이 정반대로 움직인다.

가입 코호트 기준으로 보면 리텐션은 매달 떨어진다(55 → 16%). 그런데 MoM 재방문율은 매달 올라간다(55 → 88%). 대시보드에 MoM만 띄워놓으면 “리텐션이 점점 좋아지네” 싶지만, 신규 유저는 사실 빠르게 빠져나가고 있다.

왜 MoM이 오르냐면, 이게 살아남은 사람만 보는 지표라서다. 시간이 갈수록 활성 유저는 heavy 위주로 남고, heavy의 재방문율은 원래 높다. 개선된 게 아니라 구성이 바뀐 거다.

함정 2: 곡선이 평평해지는 걸 “안정화”로 읽기

리텐션 곡선은 뒤로 갈수록 평평해진다. 이걸 보고 “리텐션이 안정됐다 / 특정 시점부터 유저가 자리 잡는다”고 해석하기 쉬운데, 대개는 그냥 구성 변화다.

heavy는 완만하게 빠지고, light는 초반에 급격히 빠진다. 둘을 합친 곡선(검은 점선)이 3~4개월 차부터 평평해지는데, 이건 리텐션이 좋아져서가 아니라 light가 거의 다 빠지고 heavy만 남았기 때문이다. 곡선의 꼬리는 “제품이 유저를 붙잡았다”가 아니라 “붙잡힐 사람만 남았다”에 가깝다.

그래서

리텐션 숫자를 볼 때 나는 두 개를 먼저 확인한다.

• 이거 가입 코호트 기준인가, 살아남은 사람 기준인가. MoM처럼 생존자에 조건 걸린 지표는 좋아 보이기 쉽다.
• 곡선 하나로 보지 말고 세그먼트로 쪼갠다. 평평한 꼬리가 진짜 안정화인지, 아니면 두 집단이 섞여서 그렇게 보이는 건지는 쪼개봐야 안다.

리텐션은 숫자보다 정의가 먼저다. 어떻게 쟀는지 빼고 “리텐션 몇 %“만 주고받으면, 서로 다른 걸 같은 말로 부르게 된다.