ILVR：交错式潜在视觉推理框架实现高效多模态推理

ILVR是ACL 2026接收的Oral论文，提出交错式潜在视觉推理框架，通过交错式潜在视觉表示与选择性感知建模，解决多模态大语言模型推理中效率与精度的两难困境，在保持精细视觉推理能力的同时显著提升计算效率。

多模态大语言模型（MLLMs）推理能力取得显著进展，但存在效率瓶颈：传统交错式推理需重新编码像素密集图像，计算成本极高；潜在视觉推理虽降低开销，但现有方法要么采用单步非交错结构无法捕捉中间状态，要么过度压缩特征牺牲感知建模能力，形成"效率-精度"两难。

ILVR由中国地质大学、上海创新研究院等多团队提出，核心创新是统一动态状态演化与精确感知建模。关键洞察：推理中的视觉表示可作为潜在空间紧凑形式的提示信号，通过文本生成与潜在视觉表示交错，平衡计算效率与细粒度多步推理。

交错式潜在表示

每步推理生成潜在视觉表示作为提示，该表示为模型自主生成的内部信号，维度低、计算开销小，承载前序推理积累并引导后续步骤。

选择性感知建模

采用自监督选择性蒸馏策略：动量教师模型从真实中间图像选择性提取相关特征，通过对比学习识别关键视觉线索，指导学生模型生成聚焦的潜在表示。

训练与实现

基于Qwen2.5-VL-7B-Instruct模型，使用CoMT数据集训练15个epoch，梯度累积步数8，潜在表示维度8；修改Transformers库，用HuggingFace Accelerate分布式训练，代码已开源。

ILVR在多模态推理基准测试中显著优于现有潜在推理方法，精度与像素级方法相当，计算效率实现数量级提升；框架通用，适用于视觉问答、图像描述生成、视觉导航等多场景。

ILVR为多模态大模型高效推理开辟新路径，解决边缘设备或实时应用的部署难题；启发未来模型设计思路，推动轻量高效架构发展；选择性感知建模模拟人类视觉认知特性，具有认知启发意义。

ILVR项目遵循MIT许可证在GitHub开源（地址：https://github.com/XD111ds/ILVR），提供完整代码、预训练模型权重、CoMT数据集及详细文档，助力领域研究与发展。