MultiPun：大型视觉语言模型能理解多模态双关语吗？

本文介绍ACL 2026主会论文MultiPun，探讨大型视觉语言模型（LVLMs）在理解图文结合的双关语方面的能力，揭示当前模型在捕捉跨模态幽默和歧义方面的局限与挑战。

双关语是人类语言中精妙的修辞手法，利用词语多义性或相似发音创造幽默。当双关语与图像结合时，需同时处理视觉和文本信息并建立关联，理解难度升级。MultiPun项目针对这一挑战，系统评估主流LVLM理解多模态双关语的能力。

多模态双关语依赖图文互动产生幽默，主要类型包括：

• 视觉-文本双关：图像提供字面意义，文字提供另一层含义
• 语境依赖：需特定文化背景知识
• 歧义解析：同一内容可能有不同解读

例如，鱼弹钢琴的图片配“钢琴调音师”文字，笑点在于“tuna（金枪鱼）”与“tuner（调音师）”发音相似，这种跨模态语义跳跃对AI是巨大挑战。

数据集构建

研究团队构建的数据集特点：

1. 多样性：涵盖同音异义、一词多义等不同双关类型
2. 难度分级：从简单到需深层文化知识的复杂案例
3. 人工验证：确保样本有明确幽默意图和合理解释

评测维度

设计多维度评测：

• 理解能力：能否识别双关存在？
• 解释能力：能否解释笑点？
• 生成能力：给定图像能否创作双关语文本？

主要发现

对GPT-4V、Gemini、Claude等测试发现：

1. 识别率有限：最好模型的识别准确率远低于人类
2. 解释能力薄弱：猜对答案但误解幽默机制
3. 文化依赖明显：涉及特定文化的双关语表现更差

失败模式

典型失败：

• 过度字面化：错过隐喻暗示
• 模态割裂：难以建立图文深层关联
• 常识缺失：缺乏世界知识和文化背景

语义跳跃挑战

理解双关需复杂语义推理：识别多重含义、切换解释、评估语境合理性，这是当前大模型薄弱环节。

跨模态对齐复杂性

多模态双关要求图文非平凡关联：图像物体与文字字面相关，文字另一层含义与图像反差/补充，幽默来自“意料之外情理之中”的关联。训练数据中这类关联稀缺，导致模型难掌握规律。

对AI研究的启示

1. 评测基准：提供评估模型深层理解能力的新维度
2. 能力边界：揭示模型在精细语义推理任务的局限
3. 改进方向：指出提升跨模态推理和常识理解的重要性

潜在应用

• 创意辅助：帮助广告营销生成评估双关语
• 内容审核：识别文化差异导致的误解内容
• 教育应用：开发语言学习者理解幽默和习语的工具

MultiPun以幽默为切入点，揭示LVLM在深层语义理解的挑战。论文标题隐喻“我明白你的意思”，当前模型距离真正理解双关语还有相当距离，这项研究为未来改进指明方向。