fix(corpus): DATASET_CARD 수치 동기화 + 산출 환경 명시 - #19
Merged
Conversation
카드는 2026-07-01 최초 주석 시점의 값(72.0 → 81.8, Δ+9.8, 위반 −2.45, delta 범위 +3.7~+19.6)을 그대로 들고 있었다. 코퍼스는 그 뒤 재주석됐고 (전 페어 review_date=2026-07-18), README·결과보고서는 71.2 → 80.7 (Δ+9.5), 위반 −2.09 를 쓴다. 즉 저장소 안에 서로 다른 두 벌의 수치가 있었다. `python -m tooling.annotate_corpus --corpus` 를 돌려 나온 값으로 맞춘다. 카드 스스로 "정직한 보고"를 표방하고 계획서 4.2 절이 "데이터셋 카드가 약속하는 n 과 실제 평가 보고 n 을 일치시킨다"고 적은 만큼, 여기서 어긋나면 안 된다. 아울러 #18 에서 확인한 사실을 카드에 남긴다: K-ER 은 형태소 분석기 빌드에 민감해 같은 버전이라도 플랫폼이 다르면 페어 단위로 흔들리고(Linux 에서는 평균이 80.6), 따라서 산출 환경을 밝히지 않은 점수는 재현 주장을 뒷받침하지 못한다.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
문제 1 — 저장소 안에 수치가 두 벌 있었다
corpus/DATASET_CARD.md는 2026-07-01 최초 주석 시점 값을 들고 있었다.코퍼스는 그 뒤 재주석됐는데(전 페어
review_date: 2026-07-18) 카드만 안 따라갔다.--corpus재채점재채점이 README·보고서와 일치하고 카드가 낡았다. 카드가 스스로 "정직한 보고"를
표방하고, 개발계획서 4.2 절이 "데이터셋 카드가 약속하는 n 과 실제 평가 보고 n 을
일치시킨다"고 적은 만큼 여기서 어긋나면 안 된다. 재현을 정체성으로 내세운 저장소에서
심사위원이 코퍼스를 열었을 때 첫 페이지가 보고서와 다른 숫자를 말하고 있었다.
문제 2 — 산출 환경 없는 점수는 재현 주장을 못 받친다
#18 의 CI 가 잡아낸 것:
kiwipiepy 0.23.2+kiwipiepy_model 0.23.0으로 버전이 같아도플랫폼 빌드(macOS arm64 vs manylinux x86_64)가 다르면 토큰화가 갈린다.
synth-0011이 82.4 / 81.9 로 갈리고, 그 결과 쉬운 글 평균이 80.7 / 80.6 으로 갈린다.카드에 산출 환경(OS·아키텍처·Python·kiwipiepy 버전)과 허용 오차를 명시했다.
회귀 테스트의
KER_BUILD_TOLERANCE와 같은 근거를 가리킨다.검증
python -m tooling.annotate_corpus --corpus출력에서 옮겼다 (손으로 적지 않음)pytest -q→ 423 passed