docs(ai): 입력 길이 스케일링 실험 + 동등성 검정(TOST) + 규칙 지표 신뢰구간

[i3months]

변경 사항

키가 필요 없는 남은 연구 세 가지를 마쳤다.

1. 입력 길이 스케일링 실험 (신규, RQ3·RQ5)

기존 부하 자료는 입력이 1,3431,987 토큰에만 몰려 있어 회귀가 성립하지 않았다(R² 0.020.14). 참고 자료 자리를 한국어 문서로 채워 1,688~6,090 토큰으로 3.6배 벌려 다시 측정했다.

모델	기울기	프리필 처리율	R²
Gemma 4 E2B	2.408 ms/토큰	415 tok/s	0.9994
Gemma 4 E4B	4.416 ms/토큰	226 tok/s	0.9998
Qwen3 4B	5.476 ms/토큰	183 tok/s	0.9961

• 첫 응답 시간의 거의 전부가 입력 길이로 설명된다. 프리필 병목 진단이 측정 방식의 산물이 아님을 확인
• 토크나이저가 지연 격차의 49%를 만든다. Qwen3 는 같은 한국어 원문에 10.9% 더 많은 토큰을 쓰고, 9,000자 입력에서 생긴 6.66초 격차 중 3.27초가 여기서 나온다
• 운영 환산: 문맥 8,192 토큰을 채우면 첫 글자까지 2045초. 앞선 부하 실험의 질문 풀 지연 2632초와 교차 검증 일치

2. 동등성 검정 (TOST) 추가

"차이가 없다"를 비유의 결과로 주장하던 부분을 바로잡았다. stats.py 에 tost_paired 를 넣고 양자화 판정 자료에 적용했다.

• 경계를 5점 척도 한 등급으로 잡으면 Qwen3 4B 는 83비트가 등가 (p = .007.012)
• 경계를 판정자 계열 편향 크기(0.43점)로 좁히면 표본 부족. 48케이스 필요, 현재 12케이스

3. 규칙 지표 Wilson 신뢰구간

케이스 40건으로 구분 가능한 주장과 불가능한 주장을 갈랐다. 무보정 2비트가 8비트보다 나쁘다는 것은 구간이 겹치지 않아 확실하고, 8비트와 3비트 차이는 구간이 거의 완전히 겹쳐 구분되지 않는다. 문서에 그대로 적었다.

확인 사항

• 서비스 코드 변경 없음. 평가 스크립트(prefill_bench.py 신규, stats.py 확장)와 문서·원자료만 추가
• flake8·black 통과

🤖 Generated with Claude Code