2026-09-17. 인간 2차 주석자를 구할 수 없어, 케이스 작성 모델(Anthropic 계열)과 다른 계열 LLM 2종을 블라인드 2차 주석자로 사용했다. 제안 라벨은 보여주지 않았고 기준 문장은 인간용 안내(
human-eval/README.md1단계)와 같다. 도구:ai/scripts/llm_eval/label_annotate.py· 원자료:human-eval/llm-second-annotator-labels.jsonl· 채점 키는 운영과 분리된 키 사용.
| 라벨 | GPT-5.5 vs 제안 | Gemini 3.1 Pro vs 제안 | GPT-5.5 vs Gemini |
|---|---|---|---|
| 답변 의도 (정상·모름·재설명) | 100% · κ 1.000 | 100% · κ 1.000 | 100% · κ 1.000 |
| 구체성 점수대 (높음·낮음·채점안함·해당없음) | 97.5% · κ 0.964 | 100% · κ 1.000 | 97.5% · κ 0.964 |
| 사실 일치 (판단불가·불일치·일치·해당없음) | 92.5% · κ 0.893 | 97.5% · κ 0.964 | 95.0% · κ 0.929 |
케이스 현실성(1~5) 평균: GPT-5.5 4.90, Gemini 4.92. 3점 이하로 평가된 케이스 없음.
| 케이스 | 라벨 | 제안 | GPT-5.5 | Gemini | 조정 |
|---|---|---|---|---|---|
| f2-dba-vague-weak | 사실 일치 | (누락) | 일치 | 일치 | 일치로 추가 — 제안 라벨 작성 누락 |
| f2-frontend-a11y-strong | 사실 일치 | 일치 | 불일치 | 일치 | 유지. 답변이 자료에 없는 수치(접근성 89점)를 추가 — 자료 밖 추가 주장을 불일치로 볼지 모호한 케이스로 기록 |
| f2-integrated-tradeoff-strong | 사실 일치 | 일치 | 불일치 | 일치 | 유지. 위와 같은 유형(자료에 TODO 로만 있는 CRDT 를 프로토타입했다고 답함) |
| f2-infra-fact-mismatch | 구체성 | 낮음 | 높음 | 낮음 | 유지. 구체적 수치를 말했지만 사실과 다른 답의 구체성 판단이 갈림 |
- 의도 라벨은 완전 일치로, RQ4(의도 분류 정확도)의 정답 기준은 신뢰할 만하다.
- 사실 일치 라벨은 "자료에 없는 세부를 덧붙인 답변"에서 판단이 갈린다. 이 유형은 운영 프롬프트("검색 문서 컨텍스트의 사실과 일치하는가")에서도 모호하므로, 사실대조 규칙 지표 해석 시 2개 케이스를 민감도 분석에서 제외해 본다.
- 한계: LLM 주석자는 인간 주석자를 대체하지 않는다. 세 주석자(작성 모델 포함) 모두 LLM 이라 공통 편향을 공유할 수 있다. 논문에는 "인간 라벨 검증 미실시, 다른 계열 LLM 2종으로 대체 검증"을 명시한다.