SMMU：多模态大语言模型社交智能基准测试框架

SMMU是专门评估多模态大语言模型社交智能能力的基准测试项目，填补当前LLM基准集中于认知能力、缺乏社交智能系统性评估的空白。通过交互式场景测试模型的心理理论（Theory of Mind）、社交推理、情境理解等核心社交智能能力，采用开源模式支持社区贡献，为多模态模型社交智能发展提供标准化评估工具。

当前大语言模型（LLM）基准测试多聚焦语言理解、数学推理或代码生成等认知能力，但对模型在社交情境中的表现——即“社交智能”缺乏系统性评估。社交智能是人类智能核心，涵盖理解他人意图、情绪、信念及在社交场景中做出恰当反应的能力。SMMU项目旨在填补这一空白，为多模态大语言模型提供全面的社交智能评估框架。

社交智能指个体理解和管理社交关系、推断他人心理状态、并在社交情境中做出适当反应的能力，关键组成包括：

• 心理理论（Theory of Mind）：理解他人具有与自己不同的信念、欲望和意图
• 情绪识别：从语言、表情或情境中识别情绪状态
• 社交推理：根据社交线索预测行为或结果
• 情境感知：理解社交规范和上下文依赖的行为 对于多模态模型，社交智能还需整合视觉信息（如表情、肢体语言）与文本信息，形成对社交情境的完整理解。

评估维度

SMMU从以下维度评估模型社交智能：

1. 信念推断：测试理解他人错误信念的能力
2. 情绪理解：评估识别和解释情绪状态的能力
3. 意图识别：从行为或对话中推断他人意图
4. 社交规范遵循：测试对社交规则和礼仪的理解
5. 多模态整合：结合视觉和文本信息进行社交推理

场景设计原则

• 自然性：场景来源于真实社交互动情境
• 渐进难度：从简单情绪识别到复杂多轮社交推理
• 多模态融合：结合图像、视频和文本信息
• 文化中立：避免特定文化背景偏见

SMMU采用交互式评估方法，更接近真实社交互动，准确评估模型社交推理能力。

SMMU项目使用JavaScript构建，包含交互式网页界面（通过GitHub Pages部署），项目结构如下：

• 前端界面：提供直观的测试场景展示和交互
• 评估逻辑：内置评分机制，自动评估模型响应
• 数据集：预定义的社交场景和期望响应标准

项目在线访问入口：https://smmu-team.github.io/SMMU/，研究人员可直接在浏览器体验基准测试。

实际应用场景

社交智能评估对以下应用至关重要：

• 对话助手：理解用户情绪，提供共情式回应
• 教育辅导：适应学习者情绪和认知状态
• 心理健康支持：识别用户情绪困扰信号
• 客户服务：理解客户情绪和意图，提供恰当回应
• 社交机器人：与人类进行自然社交互动

模型发展方向

通过SMMU基准，研究者可：

• 识别当前模型社交推理短板
• 指导模型训练，针对性提升社交智能
• 比较不同模型社交能力表现
• 追踪模型社交智能进步

SMMU采用开源模式，欢迎社区贡献：

• 使用现有基准测试自己的模型
• 提交新的社交场景扩展测试集
• 改进评估指标和评分机制
• 分享测试结果和发现

项目原作者/维护者：SMMU-Team，来源平台：GitHub，原始链接：https://github.com/SMMU-Team/SMMU，发布时间：2026年5月24日。

SMMU代表AI评估领域从纯粹认知能力测试扩展到社交智能评估的重要方向。随着AI系统越来越多地参与人类社交互动，评估和提升其社交理解能力至关重要。该基准不仅为研究者提供标准化评估工具，也为未来多模态模型社交智能发展指明方向，期待更多模型在此基准上进步，最终实现具备真正社交理解能力的AI系统。