Skip to content

Fix #2: stop citing UTI material for leg/joint pain - #18

Open
xiaoyao-666-coder wants to merge 2 commits into
zhengdaodeguL:mainfrom
xiaoyao-666-coder:fix/issue-2-leg-pain-citation
Open

xiaoyao-666-coder wants to merge 2 commits into
zhengdaodeguL:mainfrom
xiaoyao-666-coder:fix/issue-2-leg-pain-citation

Conversation

@xiaoyao-666-coder

Copy link
Copy Markdown

问题

“腿关节持续疼痛”/“腿关节时长疼痛”会把《尿频尿急尿痛的就医提示》当作最相关资料引用进回答,还追问发热、腰背部疼痛、血尿等无关症状。

根因

BM25 是单字 + 2–4 字 n-gram 重叠匹配:查询里真正有区分度的词(腿、关节、膝盖)在 15 条知识里一条都不存在,唯一能匹配上的只是泛化词——尿路感染文档含“疼痛”,感冒/咳嗽/腹泻文档含“持续”。排序完全由泛化词驱动,尿路感染文档以 0.551 的融合分排第一,draft() 再把它当作“和你描述最相关的资料”原文贴进回答。

HybridRetriever.search 没有任何相关度门槛,不论分数多低都返回 top_k。

修复

  • 主题门控(backend/app/retrieval.py):新增 GENERIC_MATCH_TOKENS(疼痛、持续、几天、严重、症状、怎么办、难受等只描述症状属性、不命名主题的词)。search() 在融合前过滤候选:查询与文档的重叠词必须至少含一个非泛化词,否则不进入引用。过滤点在 search(),一次覆盖 BM25 与 Milvus 远程命中两条通道。
  • 不用分数门槛:实测证明门槛分不开好坏——坏查询融合分 0.551 反而高于正常查询“感冒了怎么办”的 0.504。门控只看“哪些词匹配上”,不看分数高低。
  • 资料不足分支(backend/app/workflow.py、models.py):retrieve() 增加 retrieval_insufficient 标志(疾病/用药/检查/科室/FAQ 意图实际检索且返回空时置真);draft() 在 0 引用且该标志为真时走新分支 answer_source="insufficient-data",明确说知识库没有与描述直接相关的资料、现有资料覆盖不到这个主题,并给通用就医建议(症状持续/加重及时线下就诊,胸痛、呼吸困难、意识改变立即就医)。
  • 不新增关节疼痛知识文档:是否扩充知识库是独立的内容维护决定,本 PR 只保证不拿不相关资料充数。

验证

  • 新增 backend/tests/test_leg_pain_citation.py(8 个测试):检索层“腿关节持续疼痛/腿关节时长疼痛/膝盖疼了几天”零引用;“尿频尿急并伴排尿疼痛”仍首位返回尿路感染文档;端到端腿关节疼痛回答含资料不足的明确表述且不含“尿路感染/尿频”,answer_source="insufficient-data"。
  • 全量回归:MEDGUIDE_MODE=test python -m pytest -q backend/tests 529 passed(基线 521 + 8 新)。
  • 前端未动。

已知局限

  • 泛化词表是基于实测证据的小集合;如果未来某文档正文恰好包含“持续疼痛”这类泛化词的组合 n-gram,重叠里会出现非泛化词而放行——词表式方法的已知局限,更彻底的做法是主题模型或人工审核知识库。
  • “发烧38.5度三天”仍靠“38”这个数字 token 匹配到发热文档(修前就有的偶然行为,本次刻意保留);发热文档缺少“发烧”这一口语词,是否在知识库补同义词属于内容维护决定。

Closes #2

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[Bug] 腿部/关节疼痛问题错误引用尿路感染资料

1 participant