LLaDA-MedV：首个面向生物医学图像理解的大型语言扩散模型

本文介绍LLaDA-MedV，这是首个专门针对生物医学图像理解的大型语言扩散模型。它通过视觉指令微调在多个医学VQA基准上取得SOTA性能，为自回归模型之外的医学多模态AI提供新方向。原作者/维护者为LLM-VLM-GSL（Xuanzhao Dong等），来源平台为GitHub，原始链接：https://github.com/LLM-VLM-GSL/LLaDA-MedV，论文链接：https://arxiv.org/abs/2508.01617v1，发布时间：2026-06-06。

自回归模型（ARMs）长期主导生物医学视觉-语言模型领域，但掩码扩散模型（如LLaDA）提供了全新范式：通过逐步去噪生成文本，能更好捕捉全局语义和长期依赖。然而扩散语言模型在生物医学领域应用未被充分探索，故提出LLaDA-MedV。

LLaDA-MedV基于LLaDA（非自回归语言模型）：前向过程添加噪声至随机，反向过程去噪恢复文本，掩码机制预测隐藏token。其创新在于视觉指令微调：采用ViT提取医学图像特征，投影层映射至语言嵌入空间，结合扩散模型学习理解图像并生成回答。

1. 开放式对话任务：在Biomedical Visual Chatbot Benchmark上，比LLaVA-Med提升7.855%，比LLaDA-V提升1.867%；2. 封闭式VQA基准：VQA-RAD（放射学）84.93%、SLAKE（中英文医学）92.31%、PathVQA（病理学）95.15%，均为SOTA；3. 响应长度控制：可生成更长回答，包含更丰富医学知识、病情分析和诊断依据。

1. 初始化权重：合适的预训练权重加速适应生物医学领域；2. 微调策略：不同数据集需不同步数（VQA-RAD 2epoch、SLAKE10epoch、PathVQA7epoch）；3. 采样步数：过少导致语义不连贯，过多易重复，需平衡质量与多样性。

开源模型包括主模型LLaDAMedV-2A4E及任务专用模型（VQA_RAD_2E、SLAKE_10E、PathVQA_7E），可通过Google Drive或Hugging Face仓库XZDong123/LLaDA-MedV获取。技术依赖LLaDA、LLaDA-V、LLaVA-Med，致谢相关项目作者。

意义：证明扩散模型在医学多模态任务的可行性，提供新研究方向（范式多样化、生成质量提升、可控性增强）。局限：推理速度慢、训练稳定性要求高、长文本生成挑战。未来方向：高效采样算法、更深多模态融合、扩展至更多影像模态、开发医学专用扩散先验。

LLaDA-MedV作为首个生物医学图像理解大型语言扩散模型，在多个权威基准取得SOTA性能，验证了非自回归范式的潜力。通过视觉指令微调，能准确回答医学图像问题并生成详细解释，为医学AI提供新技术路线，推动更高效可解释的医疗辅助诊断系统发展。