ClinicRealm研究：大语言模型在临床预测任务中的重新评估

一项发表在npj Digital Medicine的大规模基准研究ClinicRealm，系统比较了15个GPT风格LLM、5个BERT模型和11种传统方法在非生成式临床预测任务上的表现，揭示现代LLM在零样本设置下已能超越传统微调模型，且领先开源LLM可匹配甚至超越专有商业模型，为医疗AI选型提供新依据。

大语言模型（LLMs）在医学领域应用日益广泛，但在非生成式临床预测任务中的效用长期被认为不如专门训练的传统机器学习模型，导致医疗AI领域存在争议及误用风险。核心问题在于缺乏系统性基准测试客观评估LLM真实能力。传统观念认为BERT等编码器模型微调后更适合结构化EHR数据，而GPT风格模型更擅长文本生成，但新一代大模型（如GPT-4、DeepSeek-V3）是否打破这一边界值得重新审视。

研究构建ClinicRealm基准平台，评估三大类模型：

1. GPT风格LLM（15个）：含GPT-4、GPT-5、DeepSeek-V3、DeepSeek-V3.1-Think、Claude系列等
2. BERT风格编码器模型（5个）：含ClinicalBERT、BioBERT等医学预训练模型
3. 传统机器学习方法（11种）：含逻辑回归、随机森林、XGBoost、神经网络等

评估覆盖两类数据：

• 非结构化临床文本：病历记录、出院小结、会诊意见等
• 结构化EHR数据：实验室结果、生命体征、诊断编码等

临床文本预测：LLM突破性表现

领先LLM在零样本设置下超越微调BERT模型，DeepSeek-V3.1-Think和GPT-5表现最佳，零样本提示可达到或超传统监督学习效果，无需大量标注数据即可部署高性能模型。

结构化EHR数据：数据效率权衡

数据充足时传统模型（如XGBoost）最优；数据稀缺场景下，GPT-5、DeepSeek-V3.1-Think等LLM零样本能力常超传统方法，对罕见病预测等场景价值显著。

开源模型崛起

领先开源LLM（如DeepSeek-V3.1-Think）可匹配甚至超越专有模型，为医疗机构提供成本效益高、可定制、可审计的方案，降低商业API依赖，增强数据隐私保护。

ClinicRealm还评估模型的推理能力、可靠性与公平性： 推理能力：LLM能否提供可解释预测依据、思维链提示对预测质量的影响、医学知识内部表征准确性。 可靠性：不同患者群体表现一致性、输入扰动鲁棒性、预测置信度校准程度。 公平性：不同种族/性别/年龄组性能差异、潜在偏见放大问题。

模型选择策略

1. 文本任务优先考虑LLM；
2. 数据稀缺场景考虑零样本LLM；
3. 结构化数据任务需权衡（数据充足且解释性要求高时传统方法仍有优势）。

部署成本计算

需综合考虑：数据标注成本（零样本节省人工）、模型维护成本（单一通用模型替代多任务模型）、开发迭代速度（提示工程比训练更快）。

局限性：

• 评估集中于预测任务，未覆盖所有临床AI场景；
• 部分基于公开数据集，与真实临床环境可能存在差异；
• 模型长期安全性和伦理影响需持续监测。

未来方向：

• 扩展至更多任务（如药物推荐、治疗方案生成）；
• 探索LLM与专门模型混合架构；
• 开发医疗场景模型压缩和推理优化技术。

ClinicRealm研究为医疗AI提供重要实证：现代LLM不再仅为文本生成工具，已成为临床预测强有力竞争者，挑战传统认知，为AI技术选型提供新思路。开源模型快速进步有望推动更开放、高效、公平的医疗AI生态系统。