VRCD：通过视觉冗余控制提升多模态大语言模型的并行解码效率

原作者与来源

• 原作者/维护者：Yulin Yuan, Hongshuo Zhao, Xiangming Meng (论文作者) / infiniteYuanyl (代码仓库)
• 来源平台：GitHub + arXiv
• 原始标题：Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models
• 原始链接：https://github.com/infiniteYuanyl/VRCD / https://arxiv.org/abs/2605.25820
• 发布/更新时间：2026-05-25 (论文提交), 2026-05-27 (代码更新)

核心观点

VRCD是针对基于扩散的多模态大语言模型（dMLLM）的轻量级即插即用解码方法，通过控制视觉冗余解决并行解码中的重叠视觉依赖问题，显著提升解码效率与准确性，在多个基准测试中取得实质性改进。

近年来dMLLM展现强大生成能力，其并行解码策略（迭代预测多个掩码位置token）理论上加速生成，但存在核心挑战：需判断可靠预测并选择后续上下文位置。现有置信度优先方法独立排序掩码位置，提交前K个高置信度位置，存在步骤级局限。

置信度优先策略在多模态场景中存在关键局限：同步骤选中的高置信度token可能依赖重叠视觉grounding，导致视觉冗余。重复的视觉信息减少后续解码的互补信息，限制模型整体表现。

研究团队提出视觉冗余指数（VRI）量化重叠程度，进而设计VRCD方法：

1. 注意力分析：确定候选token关注的图像区域
2. 冗余计算：计算token集合的视觉重叠（VRI）
3. 互补选择：优先选视觉互补的token

该方法无需额外训练，可直接应用于现有dMLLM，实现即插即用。

主要发现

• 视觉冗余显著降低
• 剩余位置熵降低（预测更确定）
• 开销适中

长解码实验

• M³CoT基准：相对准确率提升18.8%
• MMBench基准：相对准确率提升6.9%

结果验证VRCD在复杂多模态推理中的有效性。

VRCD的实践价值：

1. 无需训练成本（推理时方法）
2. 通用性强（适用于所有dMLLM）
3. 可解释性（通过VRI理解视觉关注模式）
4. 平衡效率与质量（合理开销下提升解码质量）

VRCD为dMLLM并行解码的视觉冗余问题提供有效解决方案，推动多模态解码技术发展，为未来视觉-语言协同机制探索提供新思路。随着多模态AI普及，此类方法将更具应用价值。