# LongCat-Next：将多模态信息统一离散化的原生自回归框架 > 美团开源的LongCat-Next通过DiNA框架将文本、视觉和音频统一表示为离散token，采用创新的dNaViT实现任意分辨率视觉token化，在单一自回归目标下实现看、画、说的统一多模态能力。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-03-29T06:35:03.000Z - 最近活动: 2026-03-31T02:52:13.631Z - 热度: 106.7 - 关键词: LongCat-Next, DiNA, 多模态模型, 离散token, 视觉Transformer, 自回归模型, 美团开源, 原生多模态 - 页面链接: https://www.zingnex.cn/forum/thread/longcat-next - Canonical: https://www.zingnex.cn/forum/thread/longcat-next - Markdown 来源: ingested_event --- ## 当前多模态架构的困境 下一代Token预测（Next-Token Prediction, NTP）范式已经通过离散自回归建模推动了大语言模型的成功。然而，当代多模态系统仍然以语言为中心，往往将非语言模态视为外部附件。这种架构设计导致了两个根本性问题：一是系统架构的碎片化，不同模态需要独立的编码器和解码器；二是模态间整合效果欠佳，视觉和音频信息难以与语言表示深度融合。 现有的多模态模型通常采用"视觉编码器+投影层+语言模型"的架构。虽然这种设计能够利用预训练语言模型的强大能力，但它本质上是一种"外挂式"的方案。视觉信息被压缩成固定维度的连续向量，然后通过投影层映射到语言模型的嵌入空间。这种间接的表示方式限制了模型对视觉细节的捕捉能力，也增加了训练和推理的复杂性。 ## DiNA：离散原生自回归框架 为了突破这些限制，研究团队提出了离散原生自回归（Discrete Native Autoregressive, DiNA）框架。DiNA的核心思想是将多模态信息统一表示在一个共享的离散空间中，从而实现跨模态的一致且原则性的自回归建模。 DiNA框架的关键创新在于它彻底改变了多模态信息的表示方式。传统方法将视觉信息表示为连续向量，而DiNA将其转换为离散的token序列，与文本token处于同一表示空间。这种统一表示带来了几个重要优势： 首先，**架构简化**。由于所有模态都使用相同的离散表示，模型可以使用单一的Transformer架构处理文本、视觉和音频，无需为不同模态设计专门的编码器和解码器。 其次，**深度融合**。离散token表示使得不同模态的信息可以在token级别进行交互。视觉token和文本token可以相互 attending，实现更细粒度的跨模态理解。 第三，**统一优化目标**。所有模态共享同一个自回归预测目标，这简化了训练过程，也使得模型能够学习到更一致的跨模态表示。 ## dNaViT：任意分辨率视觉Transformer DiNA框架的核心组件是离散原生任意分辨率视觉Transformer（Discrete Native Any-resolution Visual Transformer, dNaViT）。dNaViT负责将连续视觉信号转换为层次化的离散token，并支持在任意分辨率下进行token化和反token化。 dNaViT的设计面临一个关键挑战：视觉信息具有空间结构，而传统的离散表示方法（如VQ-VAE）在处理高分辨率图像时往往会出现信息瓶颈。为了解决这个问题，dNaViT采用了层次化的token化策略。 具体而言，dNaViT首先将输入图像编码为多尺度的特征金字塔，然后在每个尺度上分别进行向量量化。低尺度的token捕获全局语义信息，高尺度的token保留局部细节。在解码阶段，这些多尺度token被逐步上采样和融合，重建出高质量的视觉输出。 任意分辨率支持是dNaViT的另一大特色。传统的视觉token化器通常只能处理固定尺寸的输入，而dNaViT通过动态调整token网格的大小，可以高效地处理从低分辨率缩略图到高分辨率照片的各种尺寸。这种灵活性对于实际应用至关重要，因为真实世界的图像尺寸千差万别。 ## LongCat-Next：统一多模态基础模型 基于DiNA框架和dNaViT，研究团队开发了LongCat-Next——一个原生多模态模型，能够在单一自回归目标下处理文本、视觉和音频。作为一个工业级强度的基础模型，LongCat-Next实现了看（视觉理解）、画（图像生成）、说（语音交互）三大能力的统一。 LongCat-Next的架构设计遵循极简主义原则。模型主体是一个大规模的Transformer，它接收混合了文本token、视觉token和音频token的序列作为输入，通过自回归方式预测下一个token。这种设计消除了传统多模态模型中复杂的模态-specific 组件，使得模型更加简洁高效。 在训练方面，LongCat-Next采用了多阶段训练策略。第一阶段进行单模态预训练，分别在文本、视觉和音频数据上学习基础的离散表示。第二阶段进行多模态对齐训练，使用配对的图文、音视频数据学习跨模态关联。第三阶段进行指令微调，使模型能够遵循人类的复杂指令完成多模态任务。 ## 性能突破与评估结果 LongCat-Next在广泛的多模态基准测试中取得了强劲表现，尤其在几个关键领域实现了突破。 在视觉理解任务上，LongCat-Next解决了离散视觉建模长期存在的性能瓶颈。传统的基于离散token的视觉模型在理解任务上往往落后于连续表示的模型，但LongCat-Next通过改进的token化策略和更大规模的训练，首次实现了与连续模型相媲美的理解能力。 在图像生成任务上，LongCat-Next提供了一种统一的方法来调和理解与生成之间的冲突。传统上，擅长理解的模型往往生成质量不佳，而擅长生成的模型理解能力有限。LongCat-Next通过共享的离散表示和统一的训练目标，在这两个看似矛盾的能力之间取得了良好的平衡。 在音频处理方面，LongCat-Next展现了强大的语音理解和生成能力。模型可以直接从音频token生成文本响应，也可以根据文本指令生成语音输出，实现了真正的端到端语音交互。 ## 开源贡献与社区影响 作为迈向原生多模态的重要尝试，研究团队开源了LongCat-Next及其tokenizer，希望推动社区在这一方向的进一步研究和发展。开源内容包括： - LongCat-Next基础模型的权重和推理代码 - dNaViT视觉tokenizer的训练代码和预训练权重 - 多模态数据处理管道和训练脚本 - 详细的模型卡片和技术报告 这一开源贡献对于多模态研究领域具有重要意义。首先，它为研究者提供了一个强大的基线模型，可以用于比较和验证新的多模态方法。其次，开源的tokenizer使得其他研究者可以在自己的项目中使用离散视觉表示，推动这一方向的普及。第三，完整的训练代码和数据管道降低了进入多模态研究领域的门槛。 ## 技术意义与未来展望 LongCat-Next的发布标志着多模态模型设计范式的重要转变。从"语言为主、其他模态为辅"的外挂式架构，向"所有模态平等对待"的原生架构演进，这可能是多模态AI发展的必然趋势。 这一技术路线的成功验证了几个关键假设：一是离散表示足以承载复杂的视觉和音频信息；二是自回归目标可以扩展到多模态场景；三是统一的架构设计不会牺牲单模态性能。这些假设的验证为未来的多模态研究指明了方向。 展望未来，基于DiNA框架的模型还有很大的提升空间。更大规模的训练数据、更高效的token化算法、更精细的跨模态对齐策略，都可能带来进一步的性能提升。此外，如何将视频、3D等更多模态纳入统一框架，也是值得探索的方向。