similar_template_flow ABT — 페이지채택 vs 전체채택
sr-reports 템플릿채택 리포트의 지표를 실험군·대조군으로 나눠 실험 기간 7일 동안 다시 집계했어요.
요약
| 구분 | 지표 | A 대조군 vs B 실험군 |
|---|---|---|
| 모수 | 노출 유저수 (기간 중복제거) | A 197,701명 · B 198,196명 (B/A +0.3%) |
| 페이지채택 | 채택 유저수 | A 21,062명 · B 20,597명 (-2.2%) |
| 페이지채택 | 채택 횟수 | A 66,204회 · B 81,515회 (+23.1%) |
| 페이지채택 | 유저당 채택 횟수 | A 3.14회 · B 3.96회 (+25.9%) |
| 전체채택 | 채택 유저수 | A 10,852명 · B 11,019명 (+1.5%) |
| 전체채택 | 채택 횟수 | A 17,949회 · B 17,640회 (-1.7%) |
| 전체채택 | 유저당 채택 횟수 | A 1.65회 · B 1.60회 (-3.2%) |
| 분포 | 한 템플릿에서 2페이지 이상 채택 비중 | A 15.9% · B 28.6% |
| 분포 | 1번째 페이지 채택 비중 | A 55.0% · B 46.5% |
채택 유저수는 두 군이 사실상 같은데, 페이지채택 횟수만 실험군이 23.1% 많아요. 새 유저를 끌어온 게 아니라 이미 채택하던 유저가 더 많이 가져간 결과예요.
① 모수 균형
일별 실험 노출 유저수 — account_id 기준, 끝자리 4~9만
| 날짜 | A 대조군 | B 실험군 | B/A |
|---|---|---|---|
| 09/04(금) | 50,111 | 50,797 | +1.37% |
| 09/05(토) | 24,791 | 24,901 | +0.44% |
| 09/06(일) | 27,852 | 27,758 | -0.34% |
| 09/07(월) | 58,251 | 58,138 | -0.19% |
| 09/08(화) | 59,099 | 58,872 | -0.38% |
| 09/09(수) | 58,833 | 58,598 | -0.40% |
| 09/10(목) | 58,259 | 58,597 | +0.58% |
| 기간 합계 | 197,701 | 198,196 | +0.25% |
7일 내내 두 군의 노출 유저수 차이가 ±0.7% 안쪽이에요. 기간 합계로도 A 19.8만 명, B 19.8만 명이라 모수 쏠림은 없어요. 그래서 아래 지표 차이는 배정 불균형이 아니라 실제 행동 차이로 읽어도 돼요.
② 페이지채택 추이
일별 페이지채택 유저수와 횟수
| 날짜 | A 유저 | B 유저 | 유저 차이 | A 횟수 | B 횟수 | 횟수 차이 |
|---|---|---|---|---|---|---|
| 09/04(금) | 3,547 | 3,416 | -3.7% | 9,211 | 10,839 | +17.7% |
| 09/05(토) | 1,665 | 1,617 | -2.9% | 4,935 | 5,631 | +14.1% |
| 09/06(일) | 1,979 | 1,970 | -0.5% | 5,900 | 7,668 | +30.0% |
| 09/07(월) | 4,120 | 4,214 | +2.3% | 11,217 | 14,458 | +28.9% |
| 09/08(화) | 4,469 | 4,395 | -1.7% | 12,085 | 14,449 | +19.6% |
| 09/09(수) | 4,374 | 4,308 | -1.5% | 11,369 | 14,691 | +29.2% |
| 09/10(목) | 4,484 | 4,143 | -7.6% | 11,487 | 13,779 | +20.0% |
| 합계 | 24,638 | 24,063 | -2.3% | 66,204 | 81,515 | +23.1% |
유저수는 7일 중 5일에서 실험군이 오히려 조금 적고, 일별 합으로도 2.3% 낮아요. 반면 횟수는 7일 모두 실험군이 많고, 합계 6.6만 회 대 8.2만 회로 23.1% 차이가 나요. 방향이 이렇게 갈리는 건 유입이 아니라 채택 깊이가 달라졌다는 뜻이에요.
③ 전체채택 추이
일별 전체채택 유저수와 횟수
| 날짜 | A 유저 | B 유저 | 유저 차이 | A 횟수 | B 횟수 | 횟수 차이 |
|---|---|---|---|---|---|---|
| 09/04(금) | 1,492 | 1,530 | +2.5% | 2,270 | 2,326 | +2.5% |
| 09/05(토) | 739 | 718 | -2.8% | 1,116 | 1,053 | -5.6% |
| 09/06(일) | 1,066 | 1,120 | +5.1% | 1,631 | 1,827 | +12.0% |
| 09/07(월) | 2,044 | 2,127 | +4.1% | 3,139 | 3,032 | -3.4% |
| 09/08(화) | 2,143 | 2,066 | -3.6% | 3,139 | 3,086 | -1.7% |
| 09/09(수) | 2,106 | 2,117 | +0.5% | 3,349 | 3,174 | -5.2% |
| 09/10(목) | 2,201 | 2,166 | -1.6% | 3,305 | 3,142 | -4.9% |
| 합계 | 11,791 | 11,844 | +0.4% | 17,949 | 17,640 | -1.7% |
전체채택은 일별 합 기준 유저수 +0.4%, 횟수 −1.7%로 양쪽 다 오차 범위예요. 기간 중복제거 유저수도 1.09만 대 1.10만으로 +1.5%에 그쳐요. 실험이 건드린 건 페이지 단위 채택이지 템플릿 통째로 가져가는 행동이 아니에요. 페이지채택이 늘어난 만큼 전체채택이 줄어드는 잠식도 보이지 않아요.
④ 유저당 채택 강도
채택 유저 1명이 그날 채택한 평균 횟수
| 날짜 | A 페이지 | B 페이지 | 차이 | A 전체 | B 전체 | 차이 |
|---|---|---|---|---|---|---|
| 09/04(금) | 2.60 | 3.17 | +21.9% | 1.52 | 1.52 | -0.1% |
| 09/05(토) | 2.96 | 3.48 | +17.6% | 1.51 | 1.47 | -2.9% |
| 09/06(일) | 2.98 | 3.89 | +30.5% | 1.53 | 1.63 | +6.6% |
| 09/07(월) | 2.72 | 3.43 | +26.1% | 1.54 | 1.43 | -7.2% |
| 09/08(화) | 2.70 | 3.29 | +21.9% | 1.46 | 1.49 | +2.0% |
| 09/09(수) | 2.60 | 3.41 | +31.2% | 1.59 | 1.50 | -5.7% |
| 09/10(목) | 2.56 | 3.33 | +30.1% | 1.50 | 1.45 | -3.4% |
| 기간(중복제거) | 3.14 | 3.96 | +25.9% | 1.65 | 1.60 | -3.2% |
페이지채택 강도는 7일 모두 실험군이 높아요. 일별로 2.56~2.98회(A) 대 3.17~3.89회(B), 기간 전체로는 3.14회 대 3.96회로 26% 차이예요. 전체채택 강도는 1.65회 대 1.60회로 거의 같아요.
⑤ 한 템플릿에서 채택하는 페이지 갯수
페이지채택 이벤트를 유저 × 템플릿 × 일 단위로 묶어, 한 템플릿에서 채택한 서로 다른 페이지 수 분포
| 채택 페이지 수 | A 케이스 | A 비중 | B 케이스 | B 비중 | 차이 |
|---|---|---|---|---|---|
| 1페이지만 | 37,315 | 84.1% | 28,599 | 71.4% | -12.7%p |
| 2페이지 | 4,774 | 10.8% | 6,794 | 17.0% | +6.2%p |
| 3페이지 | 1,065 | 2.4% | 1,916 | 4.8% | +2.4%p |
| 4~5페이지 | 791 | 1.8% | 1,609 | 4.0% | +2.2%p |
| 6페이지 이상 | 415 | 0.9% | 1,142 | 2.9% | +1.9%p |
| 합계 | 44,360 | 100.0% | 40,060 | 100.0% | — |
가장 크게 벌어진 지표예요. 한 템플릿에서 2페이지 이상 가져가는 비중이 A 15.9%에서 B 28.6%로 거의 두 배가 됐어요. 특히 6페이지 이상 케이스는 415건에서 1,142건으로 2.8배예요. 대신 케이스 총량은 A 4.4만에서 B 4.0만으로 줄었는데, 여러 템플릿을 조금씩 훑던 걸 한 템플릿에서 깊게 파는 쪽으로 바꿔 놓은 거예요.
⑥ 1페이지만 채택한 유저의 같은 날 다른 템플릿 채택
1페이지만 채택한 템플릿 케이스가 있는 유저 × 일 기준 — 그날 페이지채택한 템플릿 개수 분포
| 그날 채택한 템플릿 수 | A 유저-일 | A 비중 | B 유저-일 | B 비중 | 차이 |
|---|---|---|---|---|---|
| 1개 | 13,888 | 64.2% | 12,221 | 66.1% | +1.9%p |
| 2개 | 4,053 | 18.7% | 3,374 | 18.2% | -0.5%p |
| 3개 | 1,637 | 7.6% | 1,290 | 7.0% | -0.6%p |
| 4~5개 | 1,176 | 5.4% | 925 | 5.0% | -0.4%p |
| 6개 이상 | 886 | 4.1% | 678 | 3.7% | -0.4%p |
| 합계 | 21,640 | 100.0% | 18,488 | 100.0% | — |
그날 한 템플릿으로 끝낸 비중이 A 64.2%, B 66.1%로 실험군이 조금 더 높아요. 해당 유저-일 자체도 2.2만에서 1.8만으로 줄었고요. ⑤와 같은 방향이에요 — 템플릿을 여러 개 오가는 대신 한 템플릿 안에서 해결하는 쪽으로 움직였어요.
⑦ 페이지채택 위치 분포
페이지채택 이벤트가 템플릿 내 몇 번째 페이지였는지
| 페이지 위치 | A 건수 | A 비중 | B 건수 | B 비중 | 차이 |
|---|---|---|---|---|---|
| 1번째 | 36,435 | 55.0% | 37,876 | 46.5% | -8.6%p |
| 2번째 | 12,459 | 18.8% | 15,711 | 19.3% | +0.5%p |
| 3번째 | 4,309 | 6.5% | 6,966 | 8.5% | +2.0%p |
| 4번째 | 3,225 | 4.9% | 4,889 | 6.0% | +1.1%p |
| 5번째 | 2,406 | 3.6% | 3,783 | 4.6% | +1.0%p |
| 6번째 | 2,096 | 3.2% | 3,291 | 4.0% | +0.9%p |
| 7번째 | 1,334 | 2.0% | 2,138 | 2.6% | +0.6%p |
| 8번째 | 1,090 | 1.6% | 1,919 | 2.4% | +0.7%p |
| 9번째 | 867 | 1.3% | 1,384 | 1.7% | +0.4%p |
| 10번째 | 464 | 0.7% | 871 | 1.1% | +0.4%p |
| 11번째 이상 | 1,519 | 2.3% | 2,687 | 3.3% | +1.0%p |
| 합계 | 66,204 | 100.0% | 81,515 | 100.0% | — |
첫 페이지 쏠림이 A 55.0%에서 B 46.5%로 8.5%p 내려갔어요. 2번째 이후가 전부 올라갔고, 11번째 이상도 2.3%에서 3.3%로 늘었어요. 늘어난 채택 횟수가 앞쪽 페이지에 더 쌓인 게 아니라 뒤쪽 페이지까지 퍼졌다는 뜻이에요.
⑧ 해석과 한계
숫자를 읽을 때 같이 봐야 하는 것들
| 항목 | 내용 |
|---|---|
| 군 배정 | abtest_name='similar_template_flow' 의 abtest_key — 0을 대조군 a, 1을 실험군 b로 봤어요. |
| 대상 필터 | account_id 끝자리가 4~9인 계정만. 이 조건을 빼면 끝자리 0~3 계정도 GA 태그에 균등하게 섞여 들어와 모수가 오염돼요. |
| 혼합 계정 제외 | 기간 중 두 키가 모두 찍힌 계정 71,079개는 제외했어요. 전체 태그 계정의 15.2%예요. |
| account_id 보정 | action_template 이벤트의 87%에 account_id 가 비어 있어요. 같은 날 같은 user_pseudo_id 의 다른 이벤트에서 계정을 채워 넣었고, 이걸로 99.97%가 복원돼요. 보정 없이 집계하면 유저수가 7분의 1로 깎여요. |
| 지표 정의 | event_name='action_template' 의 action_template_detail JSON 에서 action_template_method(페이지채택·전체채택)와 action_template_page(0부터 시작하는 페이지 위치)를 뽑았어요. |
| 유의성 | 일별 7개 관측치가 전부 같은 방향이고 모수가 19.8만 대 19.8만이라 페이지채택 횟수 +23.1%는 노이즈로 보기 어려워요. 다만 통계 검정은 따로 돌리지 않았어요. |
| 안 본 것 | 채택 이후 편집·다운로드까지 이어졌는지(유효채택)는 이 리포트 범위 밖이에요. 채택 횟수가 늘어난 게 실제 산출물 증가로 이어졌는지는 별도 확인이 필요해요. |
한 줄로 줄이면, 실험군은 채택하는 사람 수를 늘린 게 아니라 한 템플릿 안에서 더 많은 페이지를 가져가게 만들었어요. 첫 페이지 쏠림이 풀리고 2페이지 이상 채택이 두 배가 된 게 같은 이야기의 앞뒤예요.