多模态模型全景图谱：从MLLM到NMM的架构演进之路

本文基于OpenEnvision维护的Awesome Multimodal Modeling资源列表，系统梳理多模态AI的发展脉络，涵盖传统多模态模型、多模态大语言模型（MLLM）、统一多模态模型（UMM）、原生多模态模型（NMM）四大演进阶段，以及MLLM、UMM、NMM三大核心范式，为研究者提供清晰的分类体系与架构对比，助力理清领域技术演进路径。

多模态AI领域从早期图像-文本对齐发展到视频理解、音频生成、跨模态推理，技术快速演进但伴随概念混乱：MLLM、UMM、NMM的定义与区别不明确，架构设计背后的技术考量缺乏系统性梳理。Awesome Multimodal Modeling资源列表应运而生，不仅是论文项目集合，更是多模态AI知识图谱，旨在解决这些问题。

资源列表将多模态模型划分为四个阶段：

1. 传统多模态模型：聚焦表示学习与模态对齐，任务特定，无统一架构；
2. MLLMs：基于预训练LLM，通过视觉适配器（如Q-Former、交叉注意力）嫁接视觉能力，本质为"语言模型+视觉插件"，存在模态不对称局限；
3. UMMs：统一架构处理所有模态，分扩散、自回归、混合三种生成范式；
4. NMMs：原生多模态预训练，端到端统一架构，分早期融合（如Gemini）与晚期融合策略。

维度	MLLM	UMM	NMM
训练成本	低（冻结LLM）	中（多模态预训练）	高（原生多模态预训练）
模态对称性	低（语言为主）	高	高
生成能力	有限（主要文本）	强（多模态生成）	强（多模态生成）
推理效率	高	中	取决于架构设计
适用场景	视觉理解、VQA	多模态生成、编辑	通用多模态助手

该资源列表的价值体现在：

1. 系统性分类：清晰框架帮助快速定位方向；
2. 演进时间线：按阶段组织展示技术脉络，助力趋势理解；
3. 可视化支持：架构图、对比表降低技术理解门槛；
4. 持续更新：开源项目跟进最新研究，保持时效性。

基于资源列表框架，研究者可参考以下建议：

1. 建立全景视野：理解三大范式并非替代关系，而是场景适配方案；
2. 关注trade-off：权衡计算效率与模态交互充分性等设计取舍；
3. 跟踪NMM进展：原生多模态模型是未来方向，关注开源社区动态；
4. 实践结合理论：通过实验代表性模型（如LLaVA、Stable Diffusion）加深理解。