LaMI：通过晚期多图像融合增强大语言模型的视觉推理能力

LaMI提出晚期多图像融合方法，让纯文本训练的大语言模型无需昂贵多模态训练即可获得强大视觉推理能力。该方法在视觉常识任务上超越传统增强方法，同时保持甚至提升文本任务性能，为多模态AI发展提供新路径。

大语言模型（LLMs）在文本推理上表现出色，但缺乏视觉grounding；视觉语言模型（VLMs）虽解决部分问题，却在纯文本任务上逊于LLM，且适配新LLM需昂贵多模态训练。现有测试时增强方法多采用早期融合且仅用单图像，存在信息覆盖不全、干扰文本推理的局限。

LaMI核心创新为两点：1.多图像并行采样：针对文本提示生成多张不同角度/场景的相关图像，提供全面视觉上下文；2.晚期融合层：在模型最后一层前融合视觉特征，将多张图像预测概率与纯文本LLM预测结合。技术实现基于PyTorch，支持GPT-2、Gemma 2B、LLaMA3等模型，训练分多模态预训练（Wikipedia-103+LAION-220）和特定任务评估阶段；推理时生成多张图像（通常k=10），经视觉编码器提取特征后与文本特征融合。

实验结果显示：LaMI在视觉常识推理任务上显著优于其他测试时增强方法，接近专门训练的VLMs；应用于LLaMA3时，不仅提升视觉任务性能，还意外增强纯文本NLP任务表现；测试时计算开销适中，延迟增加可接受。

LaMI为多模态AI开辟新路径：无需重新训练即可让现有强文本LLM获得视觉能力，利于快速迭代和降低部署成本。其晚期融合思想或启发音频、视频等其他模态融合研究，期待ACL2026上更多扩展工作及实际应用落地。

LaMI代表多模态大模型研究重要方向——平衡文本能力与多模态引入，融合时机与方式关键。官方仓库提供完整PyTorch实现、预训练模型下载及评估脚本，降低复现与进一步研究门槛。