视觉语言模型的「视而不见」难题：CVPR 2026 论文提出即插即用的解决之道

CVPR 2026接收论文《Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness》提出无需微调VLM主干的即插即用方法，通过视觉token优化与文本提示增强，解决VLM在长尾物体识别中的'视而不见'问题，该问题在自动驾驶等安全关键场景尤为危险。

视觉语言模型（VLM）虽能流畅描述图像、回答视觉问题，但面对长尾分布中的罕见物体常'视而不见'。问题本质包括：1. 长尾分布挑战：罕见物体样本稀少导致特征学习不足；2. 视觉-语言对齐偏差：罕见物体对齐不精确易被错误归类；3. 推理注意力分散：缺乏引导时注意力集中于显著元素忽略关键区域。

该方案无需微调VLM主干，通过轻量级类别感知模块增强表现：

1. 视觉Token优化：设计跨注意力适配器，利用视觉基础模型（如SAM、DINO）提取区域特征，结合多模态类别嵌入调整VLM视觉token，注入类别判别线索；
2. 文本提示增强：类别嵌入充当物体感知检测器，自动注入与图像区域相关的类别提示，为模型提供明确引导。

CODA-LM实验：在自动驾驶场景数据集CODA-LM（含长尾物体）上，该方法显著提升罕见物体识别准确率，且可轻松应用于不同VLM架构； 跨域验证：在GeoBench地理空间图像基准上同样有效，证明方法泛化能力不局限于特定领域。

关键技术组件：

1. 多模态类别嵌入：联合学习视觉特征、同义词增强文本描述及轻量级类别原型，捕捉视觉与语义信息；
2. 视觉特征融合：用视觉基础模型提取区域特征，通过跨注意力机制融合到VLM视觉token，仅更新轻量级适配器参数；
3. 自动化提示工程：基于类别嵌入自动生成文本提示，注入top-k相关类别信息。

应用价值：即插即用设计可快速集成到现有VLM系统，低成本提升性能，对自动驾驶、机器人视觉等高精度场景意义重大； 未来方向：扩展支持类别数量、探索更高效类别嵌入学习、结合检索增强生成等技术。