tokenizer-efficiency.md

토크나이저 효율 — 한국어 입력의 토큰 수 (RQ5)

측정 2026-09-17, llama-tokenize(GGUF 내장 토크나이저), 특수 토큰 파싱 없음. 같은 계열·같은 토크나이저 모델은 한 줄로 묶었다. 텍스트: 지원자 답변 40개(구어체, 4,875자·한글 2,852자, cases_v2) / 한국어 기술 문서(ko_eval.txt, 19,681자, 한글 비율 약 43%·영문 용어 혼재). Gemini 토크나이저는 로컬 측정 수단이 없어 제외했다.

토크나이저	답변 토큰	토큰/문자	토큰/한글 음절	최선 대비	기술 문서 토큰	토큰/문자	p90 답변(425자) 토큰	프리필 추정*
A.X 4.0 Light (SKT)	1,807	0.371	0.63	1.00×	8,290	0.421	158	0.66s
Kanana-2-3B·30B (카카오, 동일 토크나이저)	1,836	0.377	0.64	1.02×	7,445	0.378	160	0.67s
Mi:dm 2.0 Mini (KT)	1,929	0.396	0.68	1.07×	7,383	0.375	168	0.70s
EXAONE 3.5 (LG)	2,278	0.467	0.80	1.26×	9,004	0.457	199	0.83s
Qwen3.6-35B-A3B	2,308	0.473	0.81	1.28×	8,561	0.435	201	0.84s
Gemma 4 (E2B·26B-A4B 동일)	2,419	0.496	0.85	1.34×	9,030	0.459	211	0.88s
gpt-oss-20b	2,595	0.532	0.91	1.44×	8,793	0.447	226	0.94s
Qwen3 4B·Qwen2.5 7B (동일)	2,994	0.614	1.05	1.66×	9,631	0.489	261	1.09s

* GTX 1660 Ti 실측 프롬프트 처리 약 240 tok/s 기준 단순 환산.

관찰

1. 구어체 한국어에서 차이가 가장 크다. 한국 기업 모델(A.X·Kanana-2·Mi:dm)은 문자당 약 0.37~0.40 토큰인데 Qwen3 는 0.61 토큰으로 1.66배다. Gemma 4 는 1.34배, gpt-oss 는 1.44배.
2. 영문 용어가 섞인 기술 문서에서는 격차가 1.30배로 줄어든다(Mi:dm 최소, Qwen3 최대). 영문 부분은 모든 토크나이저가 비슷하게 효율적이기 때문이다.
3. 프리필 병목 하드웨어에서는 토큰 수가 곧 지연이다. p90 답변 하나만으로 Qwen3 는 A.X 보다 약 0.44초 더 걸리고, 답변·대화 이력·검색 문맥이 누적되는 꼬리질문 입력에서는 차이가 비례해 커진다.
4. 토크나이저 효율은 모델 품질과 별개다. 탐색 실험에서 토큰 효율이 가장 좋은 A.X·Kanana-2·Mi:dm 은 품질·형식 준수가 낮았다(2라운드 리포트). → 한국어 토크나이저 효율이 좋은 품질 확보 모델이 로컬 전환의 이상적 후보라는 설계 함의.

한계

• GGUF 변환본의 토크나이저를 사용했다(원본 HF 토크나이저와 동일해야 하나 개별 확인하지 않음).
• 채팅 템플릿·시스템 프롬프트 토큰은 제외한 순수 텍스트 기준이다.
• 지연 영향은 단순 환산이며, RQ5 확증 분석은 실측 TTFT 회귀로 한다.