显式表示对齐：突破多模态情感分析的关键瓶颈

原作者/团队：arXiv研究团队（论文编号2606.09148v1） 来源平台：arXiv 发表时间：2026年6月8日 原文链接：http://arxiv.org/abs/2606.09148v1

核心观点：本文揭示多模态情感分析中模态表示不对齐的核心问题，提出利用视觉语言模型（VLM）将视觉内容投影到共享语言空间的统一框架，通过语义token选择和均匀性正则化实现鲁棒多模态融合，实验结果持续超越强基线并达到最先进性能。

多模态情感分析旨在联合文本、图像等异构模态理解情感，应用于社交媒体分析、用户反馈等场景。然而，现有多模态模型常无法持续超越纯文本基线，性能提升不稳定。研究发现核心瓶颈是独立预训练模态编码器的表示不对齐——文本与视觉编码器的表示空间异构，同一概念的向量几何距离远。

统一框架：VLM驱动的语言空间投影

1. 视觉到文本转换：用VLM（如CLIP、BLIP）将图像生成描述性文本（例：笑脸→"面带灿烂笑容..."），消除模态异构性。
2. 共享空间建模：转换后的视觉描述与原始文本输入同一文本编码器，在共享语言空间表示。
3. 文本中心推理：可解释地比较文本情感与视觉描述情感的一致性。

鲁棒性提升策略

• 语义Token选择：聚焦情感判别性token，过滤冗余信息。
• 批次级均匀性正则化：鼓励特征均匀分布，避免特征坍缩，增强泛化与鲁棒性。

实验结果

• 持续超越纯文本基线和现有多模态方法，在多个基准达SOTA，普适性强。
• 消融实验验证：VLM转换是关键，语义选择提升性能，正则化增强鲁棒性。

深层分析

• 可视化：对齐后不同模态表示在共享空间聚集，同情感样本映射相近区域。
• 跨模态检索：支持情感一致的文本→图像/图像→文本检索，验证空间质量。
• 可解释性：视觉转文本使决策过程透明，便于理解模型判断依据。

对多模态学习的启示：

1. 基础问题优先：先解决表示对齐，再设计融合策略。
2. VLM作为桥梁：将视觉转文本比直接融合异构表示更有效。
3. 可解释性价值：文本化视觉信息提升模型可解释性，适用于敏感场景。

局限

• 依赖VLM生成描述质量，不准确描述会误导分析。
• 额外计算开销限制实时部署。
• 语言中心偏见：部分视觉信息难以用语言准确表达。

未来方向

• 探索更高效的视觉→文本转换方法。
• 研究保持对齐同时保留原始视觉信息的策略。
• 扩展到音频、视频等更多模态。
• 开发针对情感分析优化的VLM提示策略。