UniBrain：统一多模态模型实现脑MRI补全与医学理解

针对医学影像中常见的模态缺失问题，UniBrain提出了一种统一的多模态大语言模型，能够同时进行脑MRI模态补全和医学理解，通过自对齐策略和动态隐藏状态机制，在多种疾病诊断任务中实现了优异性能。该研究来自arXiv平台，发布于2026-06-15，原文标题为《Unified Multimodal Model for Brain MRI Imputation and Understanding》，链接：http://arxiv.org/abs/2606.16484v1。

多模态大语言模型（MLLMs）在医学领域展现巨大潜力，但面临两大核心挑战：一是高质量训练数据稀缺（受隐私法规、标注成本高、数据分布不均限制）；二是临床中频繁的数据缺失问题（患者无法完成全套MRI扫描，影响传统多模态模型应用效果）。

UniBrain的核心创新包括：

1. 统一训练策略：联合学习模态补全与医学理解能力，处理不完整数据时仍保持高诊断准确性；
2. 交错式数据流设计：自回归训练，同时生成多模态数据与进行医学推理；
3. 自对齐策略：利用密集图像嵌入捕捉细粒度解剖特征，无需详细图像标注；
4. 动态隐藏状态机制：减轻长上下文多模态推理中的暴露偏差问题。

在多病种脑MRI数据集上的实验验证了三方面性能：

1. 脑影像补全能力：高模态缺失下生成影像仍保持解剖一致性和临床可用性；
2. 医学理解能力：跨模态识别正常结构、检测异常病变、关联病变与临床症状；
3. 疾病诊断性能：模态不完整时仍在多种脑部疾病诊断任务中取得优异结果。

技术意义：展示MLLM在医学影像处理不完整数据的优势，统一训练策略为医学AI开发提供新思路； 应用前景：改善神经科/放射科诊疗流程（无完整扫描时仍可辅助诊断），模态补全功能可用于数据增强训练其他模型。

局限性：仅针对脑MRI数据，其他解剖部位/影像模态（如CT、超声）泛化能力待验证；生成影像的临床安全性与监管合规性需进一步研究； 未来方向：扩展到更多模态/部位，融合电子病历数据，开发高效推理机制支持实时临床应用。

UniBrain通过统一训练策略将模态补全与医学理解有机结合，有效应对临床数据缺失挑战，推动医学AI技术发展，为改善患者诊疗体验、提升诊断效率提供新可能性。