RareScopeDB：用困惑度与疾病知识评分识别大语言模型在罕见病领域的知识盲区与自信幻觉

RareScopeDB通过结合困惑度（PPL）和疾病知识评分（DKS），系统评估大语言模型在罕见病领域的知识状态，将疾病级知识划分为稳定知识、知识盲区、自信幻觉和不稳定知识四类，为医疗AI的安全应用提供重要诊断工具。该项目基于9171种罕见病的HPO关联数据，提供开源数据集与工具链，并开发在线浏览器助力实际应用。

大语言模型（LLM）在医疗领域应用广泛，但罕见病因数据稀缺、知识复杂成为可靠性检验关键场景。全球超7000种罕见病，每种病例极少导致训练数据不足。模型咨询时可能出现两种危险：自信但错误的回答（自信幻觉）、对已知知识表现不确定（不稳定知识），均可能延误诊断。RareScopeDB目标是量化评估LLM在罕见病领域的知识盲区，为医疗AI安全部署提供依据，基于9171种罕见病HPO关联数据建立评估框架。

RareScopeDB结合困惑度（PPL）和疾病知识评分（DKS）双指标：

• 困惑度（PPL）：衡量模型预测token的不确定性，高PPL表示模型生成该疾病信息时不确定性高；
• 疾病知识评分（DKS）：量化模型生成内容与HPO标准知识的一致性。 通过交叉分析，划分四类知识状态：
• 稳定知识：低PPL+高DKS，模型知识充分且置信度高；
• 知识盲区：高PPL+低DKS，模型缺乏知识且认知到不确定性；
• 自信幻觉：低PPL+低DKS，模型缺乏知识却自信回答（最危险）；
• 不稳定知识：高PPL+高DKS，模型掌握知识但表达不确定。

核心数据集

• RareScopeDB.xlsx：含9171种罕见病分析表，涵盖疾病标识、名称、参考信息、PPL/DKS百分位数及知识状态分类；
• qwen3.6-35b-a3b_raw.xlsx：结构化知识评估的原始提示与输出数据；
• 下游诊断问题集：FGDD和RareBench（含HMS等子集）用于实际诊断场景评估。

分析工具

提供完整Jupyter Notebook工作流：

• perplexity_pipeline.ipynb：模型查询与token概率收集；
• phenotype_tool.ipynb：HPO表型术语标准化；
• results_analyze1.ipynb：性能指标计算、DKS计算、知识状态分配及下游诊断分析；
• Diagnosis.ipynb：罕见病诊断推理下游评估。

RareScopeDB提供在线浏览器（https://bioinf.org.cn:8055/），用户可查询特定罕见病知识状态、表型生成质量及基因关联准确性。该工具对以下角色有价值：

• 模型开发者：识别模型系统性缺陷，指导改进；
• 医疗AI产品经理：了解模型能力边界，设计人机协作流程；
• 临床医生：评估AI辅助诊断可信度，决定何时寻求第二意见。

RareScopeDB为医疗AI可解释性和安全性评估提供重要范式，揭示即使先进LLM在罕见病领域仍有显著知识盲区，尤其“自信幻觉”问题（错误但可信输出）对临床部署影响深远，需建立置信度校准机制和人机责任边界。未来可扩展到罕见肿瘤、遗传代谢病等领域，为检索增强生成、领域自适应训练等模型改进提供方向。