배경과 목표

비템찾에서 임베딩이 인기순을 이겼어요. 그 힘으로 고인물 상단을 깨요.

유저픽을 없애는 게 아니라 새 템플릿이 들어올 통로를 여는 거예요.

정책 — 다이얼 세 개의 값

순서대로 정했고 두 개는 끝났어요.

두 값은 확정됐고 k만 실험이 남았어요.

확정 근거 요약

두 값 모두 검색어 분류 기반 육안평가로 정했어요.

올릴수록 좋아지는 지표만 보지 않고, 나간 유저픽 수로 상한을 걸었어요.

다음 — k A/B 실험

마지막 다이얼은 실험으로 확정해요.

어느 결과가 나와도 다음 행동이 정해져 있어요. 둘 다 이기면 사이 값, 둘 다 지면 현행 유지예요.

배경 — 벡터점수에 생긴 컨피던스

유저픽이 없는 비템찾에서 벡터 점수만으로 좋은 화면이 나왔어요.

그 힘을 일반검색 상단에 쓰기로 했어요.

목표 — 고인물 상단 깨기

유저픽은 한번 오르면 잘 안 내려와요.

유저픽을 없애는 게 아니라, 새 템플릿이 비집고 들어올 통로를 여는 거예요.

결정 두 개

min_score와 최신성은 육안평가로 확정했어요.

남은 결정 — k는 A/B로

배경 — 벡터점수에 생긴 컨피던스

유저픽이 없는 비템찾에서 벡터 점수만으로 좋은 화면이 나왔어요.

유저픽을 없애는 게 아니라, 새 템플릿이 비집고 들어올 통로를 여는 거예요.

점수식에서 조정한 값 세 개

한 식 안에서 min_score · 최신성 · k 를 조정했어요.

min_score가 후보를 거르고, 최신성이 새 템플릿을 밀어주고, k가 의미 유사도의 힘을 정해요.

결정 두 개

min_score와 최신성은 육안평가로 확정했어요.

남은 결정 — k는 A/B로

문제와 무기

상단은 유저픽 고인물이고, 우리에겐 비템찾에서 이겨본 임베딩이 있어요.

그 임베딩을 일반검색 상단에 쓰는 프로젝트예요.

다이얼 세 개

점수식에서 돌릴 수 있는 다이얼은 세 개뿐이에요.

역할이 서로 달라서 하나씩 따로 판정해 정했어요.

정한 값

두 개는 확정, 하나는 실험이에요.

각 값의 결정 기준은 링크의 위키에 근거와 함께 있어요.

안전장치

올리기만 한 게 아니라 지키는 걸 같이 쟀어요.

나간 유저픽 수가 상한을 정해줬어요.

정책 결론

새 검색식 정책 세 줄이에요.

두 개 확정, 하나 실험 대기예요.

배경과 목표

유저픽이 없는 비템찾에서 임베딩 결과의 퀄리티가 좋았어요. 그래서 유저픽의 힘을 낮추고 벡터 점수를 올려볼 생각을 하게 됐어요.

유저픽 제거가 아니라 신규 진입 통로 확보예요.

확정 두 값의 근거

둘 다 검색어 분류 기반 육안평가로 정했어요.

나간 유저픽 수를 상한선으로 썼어요.

k 실험 계획

경계값 두 개를 A/B에 올려요.

100은 인기검색어가 안 바뀌는 마지막 값, 300은 그 위로 올려도 화면이 더는 안 바뀌는 값이에요.

k가 곱해지는 자리

벡터 점수에 가중치를 주기 위한 값이에요. (벡터 점수에 곱해져요)

벡터는 1.3~1.9, 유저픽은 수백 단위예요. k를 100쯤 줘야 겨우 대등해져요.

유저픽 세기 눈금

검색어마다 상단을 지키는 유저픽의 세기가 달라요. 여섯 단계로 나눴어요.

이 세기가 이후 모든 그림을 가르는 변수예요.

실험군 1 = 100

컨셉이 "유저픽이 적당히 있는 검색어만 바꾸고, 유저픽으로 가득한 검색어는 불변"이에요.

인기검색어에서 바뀌는 템플릿을 1개 이내로 지키는 마지막 값이 100이에요.

실험군 2 = 300

컨셉이 "유저픽 세기와 무관하게 모든 검색어에서 벡터 상단 노출"이에요.

효과가 닿는 마지막 값이 300이에요. 500은 얻는 것 없이 유저픽만 더 밀어내고, 100과도 충분히 벌어져서 지표가 갈려요.

k가 곱해지는 자리

벡터 점수에 가중치를 주기 위한 값이에요. (벡터 점수에 곱해져요)

벡터는 1.3~1.9, 유저픽은 수백 단위예요. k를 100쯤 줘야 겨우 대등해져요.

유저픽 세기 눈금

검색어마다 상단을 지키는 유저픽의 세기가 달라요. 여섯 단계로 나눴어요.

이 세기가 이후 모든 그림을 가르는 변수예요.

k=100 vs 300에서의 반응

현행 대비 상위 10개 중 바뀌는 템플릿 수예요. 같은 k인데 반응이 네 배 갈려요.

유저픽이 약할수록 많이 바뀌고, 셀수록 안 바뀌어요. 300부터는 더 올려도 화면이 거의 안 바뀌어요.

실험군 1 = 100 · 실험군 2 = 300

두 컨셉을 그대로 실험에 올려요.

100은 인기검색어에서 바뀌는 템플릿을 1개 이내로 지키는 마지막 값이고, 300은 이보다 올려도 화면이 더는 안 바뀌는 값이에요.

유저픽 세기별 k 영향도

현행 대비 상위 10개 중 바뀌는 템플릿 수예요. 위가 k=100, 아래가 k=300이에요.

같은 k인데 유저픽 세기에 따라 체감이 네 배까지 달라요. 이게 이번 설계의 출발점이에요.

인기검색어의 경계

인기검색어 상위 10개 중 바뀌는 템플릿 수를 k별로 늘어놓았어요.

"불변"이라고 말할 수 있는 경계가 k=100이에요. 200부터는 첫 줄의 절반 가까이 바뀌어요.

실험군 1 = 100

유저픽이 적당히 있는 검색어만 바꾸고, 유저픽으로 가득한 검색어는 그대로 두는 컨셉이에요.

바꿀 곳은 바꾸면서 인기검색어 불변을 지키는 최대 지점이에요.

실험군 2 = 300

유저픽 세기와 무관하게, 모든 검색어에서 벡터점수가 높은 템플릿을 상단에 두는 컨셉이에요.

그 위는 올려도 안 바뀌어요. 500에서 K2가 6.7 → 7.0으로 거의 안 늘어요.

방패와 미는 힘

유저픽은 상단을 지키는 방패, 벡터 × k는 미는 힘이에요.

k를 올린다는 건 미는 힘을 키우는 일이에요.

검색어마다 다른 방패 두께

같은 k라도 방패가 얇은 검색어는 밀리고 두꺼운 검색어는 버텨요.

가장 약한 유저픽 점수가 곧 그 검색어의 방패 두께예요.

뒤집힘 시작점과 두 k의 자리

방패 두께 ÷ 벡터 점수가 뒤집힘 시작 지점이에요.

K2는 13부터 밀리는데 K5·K6은 281은 돼야 밀려요. 100은 K4와 K5 사이, 300은 K5·K6 시작점 너머에 서 있어요.

실험군 두 개의 자리

300은 가장 두꺼운 방패의 시작점(≈281)을 넘어요. 컨셉을 눈금 위의 자리로 옮기면 이렇게 돼요.

100은 센 방패 앞에서 멈추는 값, 300은 모든 방패를 넘는 최소값이에요. 그 위로는 순서가 벡터 순서로 수렴해서 더 올려도 안 변해요.

방패와 미는 힘

유저픽은 방패, 벡터 × k는 미는 힘이에요.

k를 올린다 = 미는 힘을 키운다.

구간별 뒤집힘 시작점

방패 두께 ÷ 벡터 점수가 뒤집힘 시작 k예요.

100은 K4와 K5 사이, 300은 K5·K6 시작점 너머에 서 있어요.

실험군 1 = 100

약한 방패는 넘고 센 방패 앞에서 멈추는 자리예요.

"인기검색어 불변" 컨셉이 유지되는 마지막 지점이에요.

실험군 2 = 300

모든 방패를 넘는 최소값이에요.

500까지 올려도 화면은 거의 안 변하고 유저픽만 더 밀려나요.

결론

A/B 실험군 두 개의 k 값이에요.

아래 다섯 컷이 이 두 숫자의 근거예요.

근거 1 — 유저픽 세기별 영향도

같은 k라도 유저픽 세기에 따라 화면 변화가 네 배 갈려요.

하나의 평균으로 고르면 안 되고, 구간별로 어디까지 허용할지를 정해야 해요.

근거 2·3 — 100과 300이 경계인 이유

위는 인기검색어, 아래는 유저픽 약한 구간(K2)의 교체 수예요.

인기검색어 불변의 마지막 값이라 실험군 1이 100, 효과가 포화되는 시작값이라 실험군 2가 300이에요.

두 값을 벌린 이유 · 결과 읽는 법

후보였던 200을 안 쓴 이유와, 실험이 끝난 뒤의 해석이에요.

차이가 벌어져야 지표가 갈리고, 어느 결과가 나와도 다음 행동이 정해져 있어요.

결론

실험군 두 개의 k 값이에요.

나머지 세 컷이 근거예요.

근거 1 — 유저픽 세기별 영향도

같은 k라도 유저픽 세기에 따라 네 배 갈려요.

평균 하나로 못 골라요. 구간별 허용선을 정하는 문제예요.

근거 2 — 100은 불변의 경계

인기검색어 상위 10개 중 바뀌는 템플릿 수예요.

인기검색어에서 바뀌는 템플릿이 1개 이내인 마지막 값이라 실험군 1이 100이에요.

근거 3 — 300 위로는 변화 없음

유저픽 약한 구간의 교체 수예요.

300 위로는 올려도 안 변해요. 모든 검색어에 닿는 최소값이라 실험군 2가 300이에요.