潜在空间去噪：提升多模态大模型视觉对齐的新范式

本文提出潜在空间去噪框架，通过显著性感知的token掩码和高斯噪声混合策略，增强多模态大模型的内部视觉表征对齐能力。该方法在标准基准测试（如VQA-v2、GQA）和组合鲁棒性测试（如NaturalBench）中均取得显著提升，且推理阶段零额外开销。

当前主流多模态模型采用预训练视觉编码器提取图像特征，投影到语言模型空间后以自回归语言建模目标微调。这种间接监督带来两个问题：1. 视觉token表征缺乏语义丰富性；2. 对分布偏移图像的理解能力易下降，尤其在复杂场景、细粒度细节或对抗样本中表现明显。

显著性感知混合噪声策略

结合掩码噪声（遮蔽部分视觉token）和高斯噪声（添加连续扰动），噪声施加基于图像显著性分布，保护显著区域，背景区域承受更多噪声。

教师-学生架构

• 教师网络：预训练视觉编码器提供干净视觉特征作为目标；
• 学生网络：多模态模型从损坏的视觉token中恢复教师特征，通过中间Transformer层的轻量化解码器头实现。

防止表征崩溃机制

1. 图像内相似性保持：维持教师特征中不同图像块的相对相似性；
2. 对比式块蒸馏：单图像内拉近语义相似块表征，推远不同块。

零推理开销设计

训练时的噪声操作和辅助解码器头在推理阶段完全移除，模型结构恢复标准流程，无额外计算负担。

标准基准测试

在VQA-v2、GQA、TextVQA、POPE等基准上，模型consistently超越强基线，细粒度任务（如TextVQA）提升更明显。

组合鲁棒性测试

NaturalBench测试中，模型面对不常见组合、干扰信息或分布偏移时表现更优，鲁棒性增益清晰。

图像损坏场景稳定性

ImageNet-C风格损坏（高斯噪声、模糊、JPEG压缩等）下，模型准确率下降幅度显著小于基线，对视觉退化更稳健。

1. 去噪的有效性：强制模型学习数据内在流形结构，捕捉深层、噪声不变的结构特征，这正是跨模态对齐的关键。
2. 中间层监督价值：在中间Transformer层施加监督，直接影响模型对视觉输入的“中间理解”，避免输出层监督的效果稀释。
3. 显著性引导作用：模拟人类视觉选择性注意，让模型学会关注图像重要区域，提升理解效率和准确性。

对开发者的启示

• 视觉表征需专门优化，显式对齐训练比间接语言监督更有效；
• 精心设计的训练目标可零成本转化为推理优势；
• 鲁棒性应作为核心指标，关注分布偏移和损坏场景表现。

应用扩展

可扩展到视频理解、音频-语言模型、具身智能等场景。

效率优化结合

更好的视觉对齐可能减少推理步骤或参数，助力模型压缩和边缘部署。

局限性

• 依赖预训练视觉编码器质量，教师偏差可能被继承；
• 训练时增加计算开销；
• 深层理论机制有待进一步分析。

未来方向

探索扩散模型式的复杂噪声策略、应用于更大规模模型、开发轻量化训练实现。