MedSP1000：LLM临床决策动态评估揭示60%准确率天花板

MedSP1000标准化患者基准测试显示，最先进的GPT-5.5在临床决策任务中仅完成60.4%专家评分项，医学专用模型仅达40%，增加推理计算无明显改善。该动态评估暴露当前LLM在临床场景中的核心缺陷，提示其尚不适合直接临床部署。

大语言模型在医学领域应用前景广阔，但静态单轮基准测试无法真实反映临床场景表现。真实临床决策是动态过程：需持续收集信息、调整诊断假设、修正治疗计划，传统问答式测试忽略了关键的动态交互和过程质量。

标准化患者方法

借鉴医学教育的标准化患者（SP）模式，创建首个交互式临床智能体基准测试。

数据集规模

包含1638个病例、24602个轨迹级评分标准、完整病例脚本及临床环境上下文。

评估框架

• 闭环交互模拟：临床智能体（待测模型）、患者智能体（标准化脚本）、环境控制器（流程管理）
• 过程级评分：覆盖信息收集质量、诊断推理过程、治疗决策适当性、患者沟通技巧

模型表现对比

模型类型	代表性模型	评分项完成率
通用大模型（最优）	GPT-5.5	60.4%
医学专用模型	Med-PaLM等	40.0%
其他通用模型	Llama3、Qwen等	30-50%

关键发现

1. 性能天花板明显：GPT-5.5仍有40%临床相关缺陷
2. 医学专用模型落后：训练数据与临床场景偏差
3. 推理计算无效：增加资源未提升性能

失败模式

• 信息收集缺陷：过早下结论、遗漏关键症状
• 推理问题：鉴别诊断不完整、确认偏误
• 治疗失误：方案不当、剂量错误、忽视禁忌症

研究明确指出，当前LLM（含医学调优模型）缺陷率达40-60%，意味着每2-3个患者可能受不当诊疗，漏诊误诊风险不可接受。评估方法需从结果导向转向过程导向、静态转向动态、单一转向综合。

未来研究方向

• 多模态融合：整合影像、实验室检查等多源信息
• 长期随访模拟：评估慢性病管理能力
• 团队协作场景：模拟多学科会诊
• 可解释性增强：提升推理过程透明度

启示

• 从业者：需优化评估方法、贴近临床的训练数据、增强推理能力
• 公众：人类临床判断仍不可替代，AI成熟前需谨慎使用