품질 지표

직접 라벨링한 골드셋 33문항(문서 어휘 그대로 / 동의어로만 / 코퍼스에 답 없음)으로 검색·독해·불응답을 측정합니다. 엔진이 결정적이라 같은 코드는 늘 같은 표를 냅니다 - 그래서 이 수치는 테스트에서 회귀 게이트로도 씁니다.

검색 - 동의어 확장은 값을 하는가

검색 모드별 정확도 비교
모드	Recall@1	Recall@3	Recall@5	MRR
시맨틱(동의어 확장)	84%	96%	100%	0.903
키워드(정확 일치)	80%	92%	96%	0.863

답이 있는 25문항 기준. 두 모드에 같은 질의를 넣고 정답 문단의 순위를 비교합니다.

독해와 불응답 - 지어내지 않는가

100%불응답 정확도답이 없어야 하는 8문항 중 실제로 침묵한 비율. 이 데모가 파는 지표라 100% 아래로 내려가면 테스트가 깨집니다.

68%답변 정확도답이 있는 25문항 중 정답 문단을 인용한 비율. 침묵도 실패로 세는 엄격한 기준입니다.

2건오답(틀린 근거로 답함)가장 나쁜 실패. 근거를 붙였지만 그 근거가 질문의 답이 아닌 경우입니다.

6건과잉 불응답답이 있는데 확신이 부족해 침묵한 경우. 임계값(0.29)을 올리면 오답이 줄고 이 수가 늡니다 - 데모는 오답을 더 나쁜 실패로 보고 침묵 쪽에 섰습니다.

문항별 상세

골드셋 문항별 검색 순위와 답변 결과
질문	유형	시맨틱 순위	키워드 순위	결과
연차는 며칠 부여되나요?	문서 어휘	1위	1위	정답
반차는 어떻게 사용하나요?	문서 어휘	1위	1위	정답
병가는 며칠까지 쓸 수 있나요?	문서 어휘	1위	1위	정답
경조사 휴가는 며칠인가요?	문서 어휘	1위	1위	정답
재택근무는 주 며칠까지 가능한가요?	문서 어휘	1위	1위	정답
초과근무는 어떻게 보상되나요?	문서 어휘	1위	1위	정답
비밀번호는 몇 자 이상이어야 하나요?	문서 어휘	1위	1위	정답
비밀번호는 얼마마다 변경해야 하나요?	문서 어휘	1위	1위	정답
지정가 주문은 어떻게 체결되나요?	문서 어휘	1위	1위	정답
출금할 때 무엇이 필요한가요?	문서 어휘	1위	1위	침묵(과잉)
커스텀 확장자는 몇 개까지 등록하나요?	문서 어휘	1위	1위	정답
경비 정산은 언제까지 청구해야 하나요?	문서 어휘	1위	1위	정답
자기계발비는 연 얼마까지 지원되나요?	문서 어휘	1위	1위	정답
온콜 담당자는 어떻게 정해지나요?	문서 어휘	1위	1위	정답
프로덕션 배포는 언제 할 수 있나요?	문서 어휘	1위	1위	정답
휴가는 며칠 받나요?	동의어	4위	-	오답 HR-01-p4
유급휴가 일수가 궁금합니다	동의어	1위	1위	정답
암호 만드는 규칙이 어떻게 되나요?	동의어	1위	1위	침묵(과잉)
원격 근무 신청은 어떻게 해요?	동의어	1위	4위	침묵(과잉)
인출할 때 뭐가 필요해?	동의어	3위	3위	침묵(과잉)
매수 주문은 어떻게 넣나요?	동의어	1위	2위	오답 PROD-01-p4
릴리스는 언제 할 수 있나요?	동의어	2위	2위	침묵(과잉)
인시던트 1차 대응은 몇 분 안에 하나요?	동의어	1위	1위	정답
노트북을 잃어버리면 어떻게 하나요?	동의어	2위	1위	침묵(과잉)
세미나 참가비도 지원되나요?	동의어	1위	1위	정답
주차장은 몇 시까지 운영하나요?	답 없음	-	-	침묵(정답)
대표이사 이름이 뭔가요?	답 없음	-	-	침묵(정답)
육아휴직은 얼마나 쓸 수 있나요?	답 없음	-	-	침묵(정답)
반려동물을 데려와도 되나요?	답 없음	-	-	침묵(정답)
사내 헬스장은 어디에 있나요?	답 없음	-	-	침묵(정답)
퇴직금은 어떻게 계산되나요?	답 없음	-	-	침묵(정답)
주식 배당은 언제 나오나요?	답 없음	-	-	침묵(정답)
해외 지사는 몇 개인가요?	답 없음	-	-	침묵(정답)