Skip to content

カタカナ語が仮名/漢字候補に負ける(katakana penalty 過剰) #261

Description

@send

history-audit (#256) で検出した、履歴学習でも直らない実使用ミスのうち、カタカナ語が top-1 を取れないパターン。katakana_penalty = 5000 が一律にかかるため、カタカナが自然な外来語・IT 用語でも仮名のまま/漢字誤変換が勝つ。

reading expected engine top-1 rank
ましん マシン 麻しん 5
えんじん エンジン 円陣 6
だめです ダメです 駄目です 5
ばぐを バグを 馬具を 2
ぱす パス ぱす 2
まじで マジで まじで 7
とれいと トレイト トレイと 2
ねすてっど ネステッド ねステッド 8
さいとりすと サイトリスト 再トリスト 10
すれ スレ 擦れ 圏外
ずれ ズレ 連れ 4
どる ドル 取る 4
ぷろだくしょんに プロダクションに ぷろだくしょんに 2
はいつ ハイツ はいつ 9

修正方針の候補: katakana_penalty の見直し(辞書に実在するカタカナ語には penalty を掛けない / 語彙コストとの兼ね合い調整)、または頻出 IT 語の extras 追加。コスト調整時は accuracy before/after を PR に貼ること。

対応するコーパスケースは tags = ["history-audit"] + skip でこの issue にリンク。

🤖 Generated with Claude Code

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions