RadReport-VL：基于视觉语言模型的自动化放射学报告生成系统

RadReport-VL是专门用于自动化放射学报告生成的视觉语言模型，结合Vision Transformer编码器和GPT解码器，采用交叉注意力机制与自临界序列训练（SCST）方法，并集成幻觉检测功能，旨在解决放射科医生短缺、工作负荷大的问题，提升医学影像报告生成的质量与可靠性。

放射学是现代医学诊断核心支柱，但全球放射科医生短缺问题突出，影像数据增长与人力资源矛盾加剧。一名放射科医生日均需处理数十份报告，高强度工作影响效率且增加漏诊误诊风险，自动化报告生成技术应运而生，辅助医生提升诊断效率与一致性。

RadReport-VL采用编码器-解码器架构：

1. Vision Transformer编码器：将影像分割为图像块，通过自注意力捕捉全局上下文与局部细节，适配医学影像高分辨率、多模态特点；
2. GPT解码器与交叉注意力：自回归生成文本时，通过交叉注意力关联视觉特征，实现视觉grounded文本生成并支持注意力热力图可视化；
3. SCST训练：以CIDEr、BLEU等为奖励信号，缓解曝光偏差，优化报告流畅性与准确性。

医学报告生成中“幻觉”问题严重，RadReport-VL集成三层检测机制：

• 视觉grounding验证：检查临床发现是否有影像证据支持；
• 一致性检查：验证报告内部逻辑（如病变位置与解剖结构匹配）；
• 不确定性量化：对高不确定性内容给出提示，降低幻觉概率。

1. 数据预处理与增强：采用多尺度处理控制计算开销，使用符合医学规范的增强方法（旋转、缩放、对比度调整）；
2. 多模态融合：支持CT不同窗位、MRI不同序列等多模态输入，学习互补信息；
3. 领域知识融入：训练中加入解剖词典、病变分类、标准模板，使报告符合临床规范。

1. 辅助报告撰写：生成初步草稿，提升医生效率，常见病例报告质量接近专业水平；
2. 医疗质量监控：对比系统与医生报告差异，辅助发现漏诊误诊；
3. 医学教育：注意力热力图帮助医学生理解诊断关键区域，支持模拟病例生成与考试命题。

当前局限：罕见疾病识别能力有限、多病灶复杂场景描述不足、尚未深入临床决策支持； 未来方向：整合多源信息构建患者画像、支持交互式报告完善、针对医院/医生习惯个性化微调。