DermEVAL：皮肤科医生审核的多模态大语言模型评估基准

DermEVAL是由皮肤科医生审核的多模态大语言模型评估基准，专注于皮肤病学领域。它针对医学AI评估的专业门槛高、安全风险大、领域特异性强等挑战，提供专业可靠的测试平台，评估MLLM在医学影像理解和临床推理方面的能力，推动医学AI的负责任发展。

多模态大语言模型(MLLMs)在医学影像分析领域潜力巨大，但评估其真实能力存在三大挑战：

1. 专业门槛高：医学诊断需深厚专业知识，普通评估者难判断模型输出准确性；
2. 安全风险大：医学错误后果严重，评估需格外严格；
3. 领域特异性强：通用基准无法捕捉医学领域特殊需求（如病灶定位、鉴别诊断等）。

DermEVAL是专家驱动的评估基准，核心特点包括：

• 专家审核：所有数据标注和标准经皮肤科医生审核；
• 多模态设计：同时评估图像理解与医学知识掌握；
• 临床导向：任务贴近实际场景（病灶识别、鉴别诊断、治疗建议、医患沟通）。

评估维度涵盖：视觉理解（病变特征识别）、知识推理（鉴别诊断）、临床决策（治疗建议）、沟通表达（患者友好解释）。

数据集构建

包含多样化皮肤病图像（常见/罕见病例）、详细临床元数据、专家标注的诊断与治疗建议、多轮医患对话数据。

评估协议

• 自动指标：诊断准确率、病灶定位精度、文本流畅度；
• 专家评估：医学准确性评分、临床实用性、安全性检查；
• 对比分析：与住院医生、专科医生表现对比。

对研究者

提供专业可靠的评估平台，帮助发现模型优势与局限，指导改进方向。

对医生

了解AI真实能力，识别适合AI辅助的场景，建立合理期望。

对患者

推动AI严格评估，确保部署工具充分验证，降低诊断风险，促进负责任发展。

特性	通用基准	DermEVAL
专业审核	有限	皮肤科医生全程参与
临床相关性	一般	高度贴近实际场景
安全评估	基础	严格的医学安全协议
错误分析	表面	深入的医学错误分类

未来展望

• 扩展到放射科、病理科等更多医学专科；
• 动态更新评估内容以跟上医学知识发展；
• 多中心验证确保泛化性；
• 对接医疗器械审批流程支持合规评估。

结语

DermEVAL体现医学AI评估的专业化趋势：专家驱动、临床导向、安全第一。其专业审核、临床导向、多维度评估的原则，应成为医学AI评估的通用标准，推动技术向实用临床工具发展。