# MMProLong：仅用5B token训练出支持128K上下文的多模态大模型 > 研究团队通过系统性实验揭示了长上下文视觉语言模型的训练秘诀，发现平衡数据分布比专注单一长度更有效，并提出MMProLong模型，仅用5B token即可将7B参数模型扩展至128K上下文，且能泛化至512K。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-05-13T17:52:53.000Z - 最近活动: 2026-05-14T02:19:10.482Z - 热度: 133.6 - 关键词: 长上下文, 视觉语言模型, 多模态, MMProLong, 持续预训练, Qwen2.5-VL, VQA, 检索能力 - 页面链接: https://www.zingnex.cn/forum/thread/mmprolong-5b-token128k - Canonical: https://www.zingnex.cn/forum/thread/mmprolong-5b-token128k - Markdown 来源: ingested_event --- ## 长上下文能力：多模态大模型的下一个战场\n\n随着大语言模型在文本领域实现百万级上下文窗口的突破，视觉语言模型（LVLMs）也在加速追赶。长文档理解、长视频分析、多轮工具调用——这些应用场景都要求模型能够持续管理海量视觉-文本混合信息。然而，与文本模型相比，多模态长上下文训练的研究明显滞后，特别是在数据配比设计方面缺乏系统性指导。\n\n最近一项来自学术界的研究填补了这一空白。研究团队以Qwen2.5-VL-7B为基座，通过大量消融实验，首次系统性地揭示了长上下文视觉语言模型持续预训练（LongPT）的关键规律，并推出了MMProLong模型——仅用5B token训练预算，就能将模型上下文从32K扩展至128K，且展现出惊人的泛化能力。\n\n## 核心发现一：长文档VQA胜过OCR转录\n\n研究团队首先对比了两种长文档训练数据的构建方式：传统的OCR转录（将文档内容转为纯文本序列）与视觉问答（VQA）形式。实验结果令人意外——VQA格式的训练数据在各项长上下文评测中均显著优于OCR转录。\n\n这一发现具有重要实践意义。OCR转录虽然保留了文档的完整文本内容，但缺乏结构化的视觉-语言交互信号；而VQA格式天然模拟了真实使用场景：用户提出问题，模型需要从长文档的视觉和文本内容中定位关键信息并作答。这种训练方式更贴近下游任务的需求，因此迁移效果更好。\n\n## 核心发现二：平衡分布优于单一长度专注\n\n在确定VQA格式更优后，研究团队进一步探索了序列长度的数据分布策略。一个直观的假设是：既然目标是128K上下文，那么训练数据应该主要由接近128K的长序列构成。然而实验结果颠覆了这一直觉。\n\n研究发现，**平衡分布的数据（包含各种长度的序列）明显优于专注单一目标长度的数据**。这一结果揭示了一个关键洞察：长上下文能力的本质不是"记住128K的内容"，而是培养一种**可泛化的关键信息检索能力**——无论关键信息出现在什么位置、什么长度的序列中，模型都能准确找到并利用它。\n\n这种"检索即能力"的视角转变，为长上下文训练数据的设计提供了全新思路：与其追求极端长度的训练样本，不如确保模型在各种长度和位置上都获得充分的检索训练。\n\n## 核心发现三：检索是瓶颈，推理只是调味剂\n\n既然检索是核心能力，那么训练数据应该如何配比？研究团队对比了不同比例的检索任务与推理任务数据。\n\n结果显示，**检索密集型混合数据配合适量的推理数据**效果最佳。这意味着在长上下文训练中，模型最需要学习的是"在哪里找信息"，而非"如何推理信息"。推理能力固然重要，但它更像是锦上添花——在检索能力扎实的基础上，少量推理数据即可带来任务多样性的提升。\n\n这一发现与文本领域的长上下文研究形成有趣呼应：无论是文本还是多模态，"大海捞针"式的检索能力始终是长上下文建模的核心挑战。\n\n## 核心发现四：纯长数据也能保持短上下文能力\n\n另一个令人惊喜的发现是：使用纯长文档VQA数据进行训练，模型在短上下文任务上的表现几乎没有下降。\n\n这一结果打破了传统认知中"长短必须兼顾"的假设。研究团队分析认为，VQA格式的长数据本身就包含了大量短程依赖（回答局部问题）和中程依赖（跨段落关联），因此模型在学习长上下文检索的同时，自然习得了短上下文处理能力。\n\n这意味着训练流程可以大幅简化：无需精心设计的短-长数据混合策略，直接使用高质量的长文档VQA数据即可兼顾长短上下文能力。\n\n## MMProLong：小预算大突破\n\n基于以上四项核心发现，研究团队训练出了MMProLong模型。该模型从Qwen2.5-VL-7B出发，仅用5B token的长文档VQA数据进行持续预训练，实现了：\n\n- **上下文扩展**：从32K扩展至128K训练窗口\n- **性能提升**：长文档VQA得分提升7.1%\n- **超长泛化**：在256K和512K上下文上仍保持强劲性能（未经专门训练）\n- **多场景迁移**：在网页多模态针检索、长视频理解、视觉-文本压缩等任务上表现出色\n\n特别值得一提的是512K泛化能力。模型在训练时从未见过超过128K的序列，却能在两倍甚至四倍长度的测试中保持稳定性。这验证了研究团队的假设：当模型真正学会"检索"这一核心技能后，上下文长度的扩展只是应用场景的延伸，而非能力的瓶颈。\n\n## 实践启示与未来方向\n\n这项研究为多模态长上下文训练提供了清晰的实践指南：\n\n1. **数据格式优先VQA**：相比OCR转录，VQA格式更贴近实际应用场景，训练效率更高\n2. **长度分布要平衡**：避免过度专注单一目标长度，确保模型在各种长度和位置上都获得充分训练\n3. **检索是核心能力**：训练数据应以检索任务为主，推理任务为辅\n4. **长短可以兼得**：纯长数据训练不会损害短上下文能力，简化了数据准备流程\n\n展望未来，随着视频内容、长文档、多轮交互等场景的爆发，长上下文能力将成为多模态大模型的标配。MMProLong的研究不仅提供了即用的训练方案，更重要的是建立了一套理解长上下文能力的理论框架——检索能力才是根本，长度只是表象。这一认知将指引后续研究向更深层的机制理解和更高效的能力扩展迈进。