타입별로보기 간소화 배포 후 지표 분석

① 추천 비인지율 — ABT와 같은 7일 창 기준

ABT 문서와 동일한 정의·동일한 7일 관측창. 분모는 그 7일 안에 추천1이 노출된 유저(중복 제거), 인지 경로 3종 중 하나라도 있으면 인지

1-1. 타임라인 — 7일 창을 이어 붙인 추이

7일 창	간소화 UI 노출	분모(유저)	비인지율	직전 창 대비
2026-08-04 ~ 08-10	0%	101,489	63.98%	—
2026-08-11 ~ 08-17	25% (ABT)	114,683	61.25%	-2.73%p
2026-08-18 ~ 08-24	0% (ABT 종료)	153,720	65.96%	+4.71%p
2026-08-25 ~ 08-31	100% (배포일 포함)	155,324	53.24%	-12.72%p
2026-08-31 ~ 09-06	100% (완전 처치)	159,841	51.15%	-2.09%p

노출 비율을 따라 지표가 그대로 움직여요. 25%를 켠 주에 2.73%p 내려갔고, ABT를 끄자 4.71%p 되돌아왔고, 100%로 켠 뒤 12.72%p 떨어졌어요. 켜고 끄고 다시 켠 세 번의 변화가 모두 방향이 맞아요.

조건은 오히려 불리했어요. 분모가 10만에서 16만으로 57% 커졌어요. 8월 4일 주에서 18일 주로 갈 때처럼 방문이 늘면 저관여 유저가 섞여 비인지율이 오르는 게 원래 흐름인데, 그 반대 압력을 뚫고 내려갔어요.

1-2. 동일 조건 비교 — 처치 100% 집단끼리

타임라인과 섞지 않고, 간소화 UI를 100% 본 집단만 나란히 놓은 비교. ABT 두 군은 같은 7일(8/11~8/17) 안에서 동시에 측정된 값이에요

집단	기간	간소화 노출	분모(유저)	비인지율
ABT 대조군 A	08-11 ~ 08-17	0%	18,728	66.61%
ABT 실험군 B	08-11 ~ 08-17	100%	18,591	51.35%
배포 후 전체	08-31 ~ 09-06	100%	159,841	51.15%

배포 후 전체 유저가 ABT 실험군과 같은 자리에 도달했어요. 51.15%와 51.35%, 0.20%p 차이예요. 25%에게만 켜뒀던 상태를 100%로 넓혔더니 전체가 그 25%의 수준으로 옮겨간 거예요.

효과 크기로 환산하면 이렇게 돼요. 처치 0%였던 8월 18일~24일 주 65.96%를 기준으로 -14.81%p, ABT 내 A/B 차이 -15.26%p의 97%예요. ABT 대조군 A의 66.61%를 기준으로 잡으면 -15.46%p로 실험 효과를 살짝 넘어요.

1-3. 인지 경로별 분해

인지 경로	ABT 대조군 A	ABT 실험군 B	배포 후 (8/31~09/06)	실험군 대비
비인지율 (성공지표)	66.61%	51.35%	51.15%	-0.20%p
1) 추천3~6 노출	30.10%	45.79%	46.00%	+0.21%p
2) 추천 채택	7.00%	8.19%	8.87%	+0.68%p
3) 추천 상세보기	12.12%	14.07%	14.36%	+0.29%p

경로별로 쪼개도 전부 실험군 수준을 맞추거나 넘었어요. 비인지 감소를 이끈 1번 경로가 45.79%와 46.00%로 거의 같고, 유저의 실제 행동인 상세보기와 채택도 실험군보다 조금 높아요.

1-4. 참고 — 1일 창으로 보면

일별 1일 창으로 보면 배포 직전 주 70.58%에서 배포 후 56.52%로 -14.06%p예요. 1일 창은 인지할 기회가 하루뿐이라 수준 자체가 7일 창보다 높게 나와요. 방향과 크기는 같아요. ABT 문서 수치와 나란히 인용하실 땐 반드시 7일 창 쪽을 쓰셔야 해요.

② 간소화 UI 노출 4배 확대

GA 템플릿타입간소화버튼 클릭 유저 수 일별 추이 — 실제로 UI가 노출된 유저만 이 이벤트를 남겨요

구간	기간	간소화 UI 노출 비율	버튼클릭 유저(일평균)
ABT 이전	~08-10	0%	0명
ABT 기간	08-11~08-17	25% (실험군 B)	687명
ABT 종료 후	08-18~08-24	0% (전원 기존 UI 복귀)	0명
전체배포 후	08-25~09-06	100%	3,469명

평일만 비교하면 8월 13일 955명에서 8월 28일 3,784명으로 3.96배 늘었어요. 25%에서 100%로 넓힌 것과 정확히 맞아요. 배포가 일부 유저에게만 먹었거나 노출 조건이 달라졌을 가능성은 여기서 정리돼요.

더 중요한 건 8월 18일부터 24일까지 이 이벤트가 완전히 0이라는 점이에요. ABT를 끄면서 전원이 기존 UI로 돌아갔어요. 그래서 이 한 주가 처치 비율 0%인 깨끗한 비교 기준선이 돼요. 배포 후와의 차이를 그대로 실험 효과와 견주어 볼 수 있어요.

③ 노출 재현과 추천1 채택 급감

슬롯별 노출 유저 증감 — ABT의 B/A 대비와 배포 전후 대비를 나란히

슬롯	ABT 노출 증감	배포 후 노출 증감	ABT 채택 증감	배포 후 채택 증감	배포 후 채택 유저 증감(일)
추천1 (상단 추천 템플릿)	-0.8%	-2.5%	-3.1%	-32.9%	-199명
추천2 (취향이 닮은 사람들)	+11.9%	+6.6%	+27.2%	+33.5%	+311명
추천3 (좋아할 만한 스타일)	+52.9%	+60.7%	+29.1%	+4.5%	+11명
추천4 (추천 템플릿 둘러보기)	+9.3%	+7.5%	+10.4%	+5.5%	+9명
추천5 (MDI 업종 추천)	+10.1%	+12.0%	+30.2%	+44.7%	+23명
추천6 (TOP 100)	+10.2%	+9.4%	0.0%	+33.1%	+7명
추천7 (취향 분석 완료)	+14.3%	+14.0%	+27.6%	+18.0%	+18명

노출 쪽은 거의 그대로 옮겨졌어요. 추천3은 실험에서 +52.9%였고 배포 후 +60.7%, 추천7은 +14.3%와 +14.0%, 추천6은 +10.2%와 +9.4%예요. 위치가 바뀌지 않은 추천1만 실험과 배포 모두 소폭 감소예요. 배포된 화면이 실험한 화면과 다르다는 의심은 여기서 정리돼요.

문제는 채택이에요. 추천1 채택 유저가 하루 199명 줄었어요. 다른 여섯 슬롯이 합쳐 379명을 늘렸는데 절반 이상을 추천1이 되돌려 놓은 셈이에요. 실험에서 추천1은 -3.1%로 사실상 변화가 없던 슬롯이었어요.

추천1 채택률을 일별로 보면 원인이 타입 간소화가 아니라는 게 드러나요. 평시 1.74%였다가 8월 19일부터 2.1~2.4%로 튀어 올랐고, 8월 25일을 지나면서 1.3~1.5%로 내려앉았어요. 두 번의 점프가 모두 릴리즈 날짜와 맞물려요.

④ 같은 날 나간 추천1 모듈화

26.818과 26.825 릴리즈에 포함된 추천 관련 이슈 (fixVersion 기준)

릴리즈	이슈	내용	해결 시각
26.818	UNICORN-78085	[추천] 슬롯1 템플릿 썸네일 비율 정렬 적용	08-18 18:13
26.818	UNICORN-78500	추천 Phase 3.5 업종별 관심슬롯 추천 고도화	08-19 10:17
26.825	UNICORN-79640	모듈화 > 추천 페이지 > 히어로 슬롯 (= 추천1)	08-25 15:55
26.825	UNICORN-79159	모듈화 > 취향이 닮은 사람들의 추천 슬롯	08-25 15:59
26.825	UNICORN-79150	모듈화 > 좋아할 만한 스타일 슬롯	08-25 16:06
26.825	UNICORN-77131	모듈화 > SASRec 슬롯	08-25 17:04
26.825	UNICORN-79151	모듈화 > MDI 업종 추천 슬롯	08-25 17:10
26.825	UNICORN-79153	모듈화 > 추천 키워드 카테고리 슬롯	08-25 17:15
26.825	UNICORN-79294 / 79295	통합임베딩 ABT 전체적용, account_id 제약 삭제	08-25 15:00
26.825	UNICORN-79092	템플릿페이지 비슷한템플릿찾기 무한스크롤 FE	08-25 15:03
26.825	UNICORN-79761	타입별로 보기 간소화 ABT 제거, 실험군 전체 적용	08-25 14:47

타입별로보기 간소화는 26.825에 혼자 나간 게 아니에요. 같은 날 추천페이지 슬롯 여섯 개가 전부 모듈화됐고, 그중 히어로 슬롯이 바로 추천1이에요. 추천1 채택률이 8월 25일을 기점으로 내려앉은 타이밍과 정확히 겹쳐요.

비교 기준선 쪽도 깨끗하지 않아요. 8월 18일 26.818에 슬롯1 썸네일 비율 정렬이 적용되면서 추천1 채택률이 평시 1.74%에서 2.07%로 올라간 상태였어요. 배포 전후 비교의 출발점이 부풀려져 있었던 거예요.

⑤ 기여도 분해 — 잔차 0.04%p

대시보드 정의 채택률 기준 — ABT 문서 효과에서 출발해 실측까지 좁혀가는 과정

단계	조정	누적 기대치	근거
ABT 문서 효과	—	+1.250%p	ABT 결과 문서 2절
지표 정의 조정	-0.264%p	+0.986%p	대시보드 정의로 A/B 재계산 (상세보기 경유 조건)
추천1 모듈화 동시 배포	-0.299%p	+0.687%p	추천1 채택률이 평시 1.735%를 유지했다면 하루 88명 추가 채택
실측	—	+0.653%p	8/18~8/24 대비 8/26~9/6
미설명 잔차	-0.034%p	—	설명률 95%

추천1 손실은 이렇게 계산했어요. 배포 후 추천1 노출 유저는 하루 28,369명이고 채택률은 1.426%라서 채택 유저가 404명이에요. 평시 채택률 1.735%를 그대로 유지했다면 492명이 돼요. 차이 88명을 대시보드 분모인 하루 29,549명으로 나누면 0.299%p예요.

정의 차이와 추천1 손실 두 가지만 반영하면 기대치 +0.687%p, 실측 +0.653%p예요. 잔차 0.034%p는 노이즈 수준이에요. 타입별로보기 간소화 자체는 실험이 약속한 만큼의 채택 증분을 만들어 냈고, 그중 30%를 같은 날 나간 추천1 모듈화가 상쇄한 거예요.

⑥ 검증과 미검증

이 분석에서 확인한 것과 확인하지 못한 것

항목	결과
ABT 정의 재현 (상세보기율)	A 12.12% / 문서 11.86% — 일치
ABT 정의 재현 (추천 채택률)	A 7.00% / 문서 7.01% — 일치
ABT 정의 재현 (비인지율)	A 66.61% / 문서 65.08% — 1.53%p 높게 나옴 (4번 경로 누락)
배포 후 실험군 수준 도달	51.15% vs ABT-B 51.35% — 0.20%p 차이
노출 커버리지	3.96배 (기대 4배) — 정합
배포판과 실험판 동일성	슬롯별 노출 증감 재현 — 동일
기여도 항등식	잔차 0.034%p — 성립

비인지율 재현치가 문서보다 1.53%p 높은 건, 인지 경로 네 개 중 슬롯1 캐러셀 좌우 이동 버튼 클릭을 GA에서 찾지 못해 빼고 계산했기 때문이에요. 이 경로는 나머지 세 경로와 크게 겹치니까 빠뜨린 만큼 비인지율이 조금 높게 나와요. 배포 전후 양쪽에 같은 방식으로 적용했으니 차이 계산에는 영향이 없어요.

확인하지 못한 것을 남겨요. 하나, 추천1 채택 급감의 진짜 원인은 8월 25일 히어로 슬롯 모듈화와 타이밍이 겹친다는 것까지만 확인했고 코드나 화면 차원은 안 봤어요. 둘, 8월 18일 이후 방문 유저가 57% 늘어난 이유가 개학 시즌인지 다른 배포 영향인지 가려내지 않았어요.

셋, 8월 25일에는 통합임베딩 전체적용과 비슷한템플릿찾기 무한스크롤도 같이 나갔는데 이들의 영향은 분리하지 않았어요. 넷, 원본 ABT 노트북이 제 권한으로 열리지 않아 문서 수치와의 대조는 자체 재현 계산으로만 했어요.

⑦ 다음에 할 일

이번 분석에서 드러난 구조적 문제에 대한 제안

순위	할 일	이유
1	인지에서 첫사용으로 넘기는 실험	인지는 늘었는데 ③인지·안씀에 고임. 다음 표적은 인지가 아니라 사용 전환 구간
2	추천1 채택률 급감 원인 규명	히어로 슬롯 모듈화 이후 평시 대비 -18%, 하루 88명 채택 손실이 계속 발생 중
3	ABT 성공지표에 집계 범위 명시	최근 7일 기준 -14.6%p를 가입 이후 전체 기준 대시보드에서 찾으면 구조적으로 7배 작게 보임
4	전체배포와 다른 변경의 분리	같은 릴리즈에 슬롯 여섯 개 모듈화가 섞여 배포 성과 검증이 사실상 불가능

급한 건 2번이에요. 추천1은 노출 규모가 가장 큰 슬롯이라 채택률 0.3%p 하락이 전체 지표에서 가장 큰 단일 항목이에요. 간소화 배포의 성과를 가리고 있을 뿐 아니라 그 자체로 손실이 계속되고 있어요. 방향을 정하는 건 1번이에요. 인지는 이미 충분히 밀어올렸으니 다음 레버는 사용 전환이에요.