TreeDDx：用结构化临床决策树评估大语言模型的鉴别诊断推理能力

TreeDDx是针对大语言模型（LLM）在临床鉴别诊断任务的基准测试框架，通过结构化决策树评估模型的推理能力和诊断准确性。它解决了现有医学基准难以评估复杂临床决策推理链条的问题，让LLM的推理过程可追踪、可量化。

LLM在医学问答和知识检索任务表现出色，但真实临床场景中，鉴别诊断要求模型具备结构化推理能力（从多种疾病中筛选最可能诊断）。现有基准多侧重单轮问答或知识recall，难以评估复杂推理链条。TreeDDx为填补这一缺口而生，引入基于临床决策树的评估范式。

TreeDDx将鉴别诊断形式化为决策树生成与匹配问题：1. 结构化决策树表示（节点为诊断假设，边为支持/排除证据）；2. 模型输出与专家标注的ground truth决策树对比；3. 多维度评估（最终诊断正确性、推理路径合理性、关键节点覆盖度、逻辑链条完整性）。能捕捉传统指标遗漏的推理缺陷（如猜对诊断但推理跳跃）。

TreeDDx数据来源于JAMA Network Clinical Challenge的真实疑难病例，提供预处理脚本转换为决策树样本。关键组件包括：gt_decisiontree_generation.py（生成标准决策树）、llm_decisiontree_generation.py（调用LLM生成决策树）、evaluation.py（相似度计算与多维度评估）。注意：原始JAMA病例需用户自行获取授权。

决策树相似度评估是核心，采用图编辑距离（结构层面）和节点语义相似度（医学预训练模型计算）结合的方法：结构层面计算拓扑相似度（节点层级、分支）；语义层面计算节点文本相似度；综合加权得到匹配分数。比传统方法更精细刻画推理能力差异。

TreeDDx的价值：1. 强调医疗AI可解释性（决策树天然可解释）；2. 细粒度诊断模型缺陷（定位特定疾病或推理环节弱点）；3. 通用性（迁移到法律、工程等复杂推理领域）。

TreeDDx局限：依赖LLM的in-context learning能力，疑难病例可能生成不完整决策树；ground truth标注需专家大量时间，限制数据集规模。未来方向：引入更强LLM生成决策树、开发半自动化标注工具、结合RLHF优化推理能力。

TreeDDx是医疗AI评估方法的重要进步，将鉴别诊断这一复杂临床认知过程形式化为可计算、可比较的结构化任务。对医学LLM研究者和开发者而言，它不仅是基准工具，更是评估和优化模型临床推理能力的范式参考。