UniBrain：面向脑部MRI的统一多模态理解与补全模型

UniBrain是面向脑部MRI的统一多模态模型，可同时实现模态补全与疾病诊断理解，解决医学影像数据缺失和多模态融合的关键挑战。该模型由Zhiyun Song等人提出，已被MICCAI 2026接收，其PyTorch实现已开源，包含训练脚本、评估工具及预训练模型支持。

多模态大语言模型（MLLMs）在医学领域潜力巨大，但面临高质量训练数据稀缺、临床数据缺失频繁的挑战。在脑部MRI分析中，患者常无法完成全套扫描导致模态缺失，传统方法或丢弃样本或单独训练补全模型，难以端到端诊断与理解。

三大技术创新

1. 交错式描述增强数据流：自回归训练实现生成与医学推理深度融合，无需先补全再诊断。
2. 自对齐策略：利用密集图像嵌入自我重建，学习解剖学表示，降低人工标注依赖。
3. 动态隐藏状态机制（DHS）：缓解长上下文推理中的暴露偏差，保持解剖结构一致性。

三阶段训练

1. 医学重建自对齐：自监督预训练学习解剖知识基础。
2. 统一多模态建模：用完整数据集学习模态间关系。
3. 自强制微调：提升生成质量与诊断准确性。

支持T1n、T1c、T2w、T2f等标准MRI模态。

UniBrain在多病种数据集上验证：

• 模态补全质量：PSNR和SSIM指标显示生成图像解剖准确、病理特征可辨。
• 疾病诊断准确性：模态不完整时仍鲁棒，单模态输入也能通过生成辅助诊断。
• 联合评估：生成质量与诊断准确性正相关，验证统一策略有效性。

• 降低扫描成本：减少患者扫描时间与医疗成本，适用于行动不便或幽闭恐惧患者。
• 提升诊断效率：辅助放射科医生全面评估，减少信息损失。
• 推动领域发展：证明统一生成-理解框架可行性，为后续研究提供参考。

UniBrain PyTorch实现完全开源，包含训练脚本、评估工具、预训练模型加载支持，基于BAGEL构建并遵循对应协议。项目提供详细文档（环境配置、数据准备、训练流程、评估脚本），助力研究机构复现与微调，推动医学影像AI民主化。