ScanFormer：基于LoRA微调的多模态医学影像报告生成模型

ScanFormer是印度理工学院甘地讷格尔分校（IIT Gandhinagar）本科生Divya Rahul Shah开发的独立研究项目，旨在结合现代多模态大语言模型技术与参数高效微调方法，构建实用的医学影像报告生成系统。该模型基于LLaVA-Med视觉语言架构，通过LoRA高效微调技术（仅训练约2%参数）和EWC技术防止灾难性遗忘，在CheXpert数据集（224,316张胸部X光片）上训练，实现自动化放射学报告生成。核心成果包括：报告质量BLEU-4达38.4，临床事实性89.7%，通用语言能力保留96.2%，幻觉率低至4.1%。

医学影像自动化分析需求迫切，但专业放射科医生资源短缺。ScanFormer针对的核心问题是如何将通用视觉语言模型（VLM）专业化用于医学影像领域，同时避免‘灾难性遗忘’——即模型在新任务训练时遗忘原有知识（如通用VLM微调医学数据时可能丢失通用视觉理解能力，或保留通用能力却无法充分学习医学专业知识）。

ScanFormer基于LLaVA-Med（LLaVA的医学适配版本）构建，结合以下关键技术：

1. LoRA微调：冻结预训练模型权重，引入低秩矩阵（秩16、alpha32），仅训练约2%参数，实现参数高效适配医学任务；
2. EWC技术：识别对原始任务重要的参数并施加惩罚，防止模型遗忘通用语言能力；
3. 视觉接地检查器：监控模型生成报告时的视觉注意力分布，标记描述与注意力不匹配的潜在幻觉案例，降低误诊风险。

模型使用斯坦福大学发布的CheXpert胸部X光数据集训练，包含224,316张影像及多标签病理标注（如不透明度、胸腔积液等）。训练目标是生成结构化放射学报告，涵盖病理标志识别、自然语言描述及结构化格式，便于临床处理归档。

ScanFormer在多维度评估中表现优异：

• 报告质量：BLEU-4分数38.4，与人工报告n-gram重叠度高；
• 临床事实性：89.7%，生成内容与影像实际一致性强；
• 通用语言保留：96.2%，验证EWC防止遗忘的有效性；
• 幻觉率：4.1%，处于医学领域较好水平，接地检查器可进一步优化。

ScanFormer的应用价值体现在：

1. 辅助诊断：自动初筛异常影像、生成报告草稿、对比人工报告标记遗漏；
2. 医疗资源均衡：为放射科医生短缺地区提供基础影像解读能力；
3. 教学研究：生成结构化报告作为医学生教材，助力大规模医学影像-文本数据集构建。

作为本科生项目，ScanFormer存在局限性：仅支持胸部X光（单一模态）、CheXpert数据集偏向美国人群（泛化性待验证）、需通过监管审批才能临床部署。未来改进方向包括：扩展至CT/MRI等多模态、更大规模训练提升泛化能力、优化人机协作界面、增加预测置信度估计。