UniMedVL：统一医学多模态理解与生成的基础模型

UniMedVL是由uni-medical团队开发并开源的统一医学多模态基础模型，通过观察-知识-分析（OKA）三层框架整合理解与生成能力。该模型参数规模达14B，在医疗视觉问答、医学影像生成等任务上达到SOTA性能，核心论文已被ICML 2026接收，配套UniMed-5M数据集（560万+样本）。

传统医学AI方法存在任务割裂、模型冗余的碎片化问题。UniMedVL旨在通过统一架构整合多模态能力，核心论文获ICML 2026接收，配套UniMed-5M数据集为训练提供基础。

OKA框架灵感源于临床流程： 观察层：感知医学图像特征； 知识层：关联医学知识库推理； 分析层：生成报告/回答。 架构实现跨任务协同增强。

三阶段训练： 1.基础训练（85K步）：建立视觉-语言对齐； 2.指令微调（120K步）：提升跨模态理解； 3.统一训练（70K步）：形成综合能力。 渐进策略确保训练稳定。

医疗VQA在SLAKE（75.4%）、PathVQA（53.5%）等数据集领先；影像生成平均gFID 96.29；跨模态任务泛化能力强；14B参数效率优于7B专用模型。

支持辅助诊断、医学教育、科研分析、多模态交互等场景，为医疗AI应用提供全面解决方案。

提供预训练权重（HuggingFace）、推理代码、部分开放数据集及项目主页，促进技术传播。

UniMedVL是医学多模态AI重要进步，局限包括训练代码未完全开源；未来将扩展模态、增强EMR集成等。