DixitWorld：用桌游评估多模态视觉语言模型的溯因推理能力

DixitWorld是ACL 2026论文开源项目，通过经典桌游Dixit构建多智能体基准测试框架，旨在评估视觉语言模型（VLMs）的溯因推理能力，揭示当前VLMs在假设生成与选择任务上的结构性不对称问题。项目包含动态博弈环境DixitArena和静态数据集DixitBench，为VLMs高阶认知能力评估提供新工具。

溯因推理是从部分观察生成解释性假设的能力，是当前大模型“理解”层面的薄弱环节。传统VLMs基准多为静态，缺乏对创造性假设生成和语用推理的评估。DixitWorld将桌游转化为动态多智能体博弈场景，模拟人类类比推理与创造性思维，填补了这一评估空白。

1. DixitArena：动态多智能体博弈环境，智能体轮流扮演Storyteller（生成适度模糊线索，对应假设生成）和Listener（根据线索选目标图像，对应假设选择），得分机制要求模型掌握语用技巧。
2. DixitBench：静态多选问答数据集，含84张图像、3个难度层级，干扰项基于语义相似度控制，与DixitArena Listener任务结果相关性达Pearson r=0.947。

对6款主流VLMs（如Qwen2.5-VL、GPT-4o等）评估发现：

• Storyteller任务：超78%轮次得分为零，模型难以平衡线索的模糊性与可理解性，反映语用控制缺陷；
• Listener任务：最佳模型准确率约75.6%，作为判别器能力较强。 这揭示VLMs在“生成”与“选择”方向存在显著能力鸿沟。

项目采用Python模块化设计：

• 核心代码：src/game.py（游戏引擎）、src/agents.py（智能体定义）、src/call_api_*.py（多API客户端）；
• 实验脚本：experiments/支持Arena锦标赛、批量测试、DixitBench评估；
• 分析工具：analysis/提供统计与可视化。支持OpenRouter、Together等API密钥配置，便于复现扩展。

DixitWorld获ACL 2026认可，其价值包括：

1. 填补现有基准对创造性生成和语用推理评估的空白；
2. 提供多智能体协作/竞争实验平台，研究通信博弈与涌现行为；
3. 指导AI应用：在教育、创意写作等场景中，人类监督仍不可或缺。

局限：84张Dixit卡牌因版权未包含，增加复现门槛；仅评估英语语境。未来方向：通过微调/提示工程改善Storyteller任务表现；扩展跨语言评估；优化数据集版权问题。

DixitWorld代表AI基准向高阶认知能力探索的重要一步。模型识别物体只是开始，真正挑战是理解“像猫一样神秘”这类表达——平衡意象关联与解读空间，这是人机交互自然化的关键门槛。