医疗多模态大模型图像分类性能衰减的深层剖析

本文通过特征探针技术系统分析14个开源医疗多模态大模型，揭示其在医学图像分类任务上性能衰减的四大失效模式，为医疗AI临床落地提供重要警示。研究发现，尽管医疗MLLM被寄予厚望，但在图像分类任务上表现落后于传统模型，其性能衰减源于视觉表征、跨模态连接、语言推理及语义映射等多层面问题。

多模态大语言模型（MLLMs）为医疗影像分析带来机遇，预训练模型具备强大视觉-语言理解能力，业界期待其超越传统深度学习方法支持临床决策。然而，现实是最先进的医疗MLLM在医学图像分类这一核心任务上表现不佳，甚至落后于规模更小的传统模型，引发对性能衰减根源的反思。

研究选取14个开源医疗多模态大模型，覆盖主流架构（不同视觉编码器、连接器、语言模型组合），在三个代表性医学图像分类数据集评估。与常规测试不同，采用特征探针技术，逐模块追踪视觉特征流动，观察分类信号在处理流程中的扭曲、稀释或覆盖情况。

研究识别出导致性能衰减的四大失效模式：

1. 视觉表征质量受限：视觉编码器针对自然图像优化，对医学影像特殊性（如细微病灶纹理、特定成像模态）适应性差，丢失诊断关键细粒度信息（如皮肤病变边界细节）；
2. 连接器投影保真度损失：视觉-语言连接器追求压缩效率，导致高维视觉信息在低维投影中失真，丢失关键位置信息；
3. 语言模型推理理解缺陷：依赖训练数据统计相关性进行“捷径学习”，缺乏专业医学知识支撑的细粒度推理能力，分布外样本或罕见病例表现急剧下降；
4. 语义映射错位：通用数据构建的语义空间缺乏医学术语精确边界校准，易混淆临床明确区分的疾病类别。

为客观评估问题，提出定量指标刻画特征演化健康度：

• 信息保持率：衡量视觉特征流经各模块时的信息保留程度；
• 任务相关性增益：追踪与分类任务相关的信号强度变化；
• 跨层一致性：评估相邻层之间特征演化的连贯性。这些指标可在不同模型和数据集间比较，识别结构性缺陷，为改进提供方向。

当前医疗MLLM临床部署面临三大障碍：

1. 可靠性问题：模型输出缺乏高度一致性和可解释性，难以满足临床决策要求；
2. 安全性问题：可能对某些输入产生高置信度错误预测，“过度自信”的误诊风险大；
3. 监管合规挑战：MLLM的“黑箱”特性使其安全性和有效性验证困难，难以通过严格审批流程。

研究促使社区反思：追求更大模型规模和更多数据无法解决医学应用特殊挑战，需关注：

• 针对医学领域的专门架构设计；
• 视觉-语言对齐的精细化方法；
• 提升可解释性和可验证性；
• 深度整合临床工作流程。需摒弃 hype，脚踏实地解决实际问题。

医疗多模态大模型性能衰减是涉及多层面的系统性挑战。本研究通过严谨特征探针分析，首次系统性剖析失效模式内在机制，为未来改进指明方向。对开发或部署医疗AI的机构，需充分理解模型局限性，建立严格安全保障机制，才能释放AI潜力并保护患者权益。