医疗大语言模型评估新框架：基于检索增强的六维评测体系

本文介绍了开源医疗大语言模型评估框架LLMs-Healthcare-Evaluation，其核心理念为“检索增强评测”，通过与权威生物医学文献比对，从正确性、幻觉抵抗、完整性、忠实度、有据性和同理心六个维度全面评测模型表现，解决传统评测单一指标或实验室环境的局限，为医疗AI的选型、优化及监管提供支撑。

随着大语言模型在医疗领域应用增多，传统评测方法存在局限：单一指标或实验室环境难以反映复杂临床场景能力边界。医疗场景对准确性要求极高，错误建议可能引发严重后果，建立严谨评估体系迫在眉睫。

该框架从六个维度评估：

1. 正确性：医疗信息是否准确符合医学共识；
2. 幻觉抵抗：面对模糊问题能否承认不确定性，避免虚构信息；
3. 完整性：回答是否全面，主动提供背景、注意事项等；
4. 忠实度：输出与上下文信息的一致性；
5. 有据性：核心特色，通过PubMed等权威文献验证建议的科学依据；
6. 同理心：回应患者时是否展现适当情感支持。

框架技术组件包括：

• 检索模块：从生物医学文献库召回相关权威资料，建立可信基准；
• 评估引擎：多维度打分机制，各指标有明确评分细则减少主观偏差；
• 对比分析模块：支持多模型并行测试，生成横向对比报告助力选型。

应用场景：

• 医疗机构：提供客观选型依据，筛选适合的AI辅助诊疗系统；
• 模型开发者：明确优化方向（如增强检索提升有据性、微调风格增强同理心）；
• 监管部门：标准化评估方法助力建立准入门槛和质量监控体系。

该框架将“模型好坏”转化为可量化指标，为医疗AI负责任部署提供工具支撑。未来有望扩展至医学影像、病理报告等多模态评估，结合真实世界证据进化体系，更好服务医疗AI安全应用。