MMSU：多模态大语言模型社交智能评测新基准

MMSU（Multimodal Social Understanding）是针对多模态大语言模型社交智能能力的评测基准，填补了当前AI评估体系中社会认知能力测量的空白。它提供系统化框架评估模型在复杂社交场景下的理解与推理能力，涵盖情绪识别、社交情境推理等多个维度，初步评测揭示主流模型在社交智能上存在显著短板，对AI研究、开发及行业应用具有重要价值。

当前多模态大语言模型（MLLM）评测主要聚焦视觉问答、图像描述生成等传统任务，但人类日常交流依赖的社交智能（如理解讽刺、识别情绪、推断意图等）在现有体系中鲜有涉及。这些能力对构建自然的人机交互系统至关重要，MMSU项目因此诞生以填补这一空白。

MMSU数据集涵盖多种社交智能维度：

• 情绪识别与理解：从面部表情、肢体语言、语音语调识别情绪
• 社交情境推理：理解社交场合的行为规范、角色关系和互动模式
• 讽刺与幽默检测：识别反讽、双关和幽默元素
• 意图推断：从有限信息推断真实意图和潜在动机
• 文化与社会规范：理解不同文化背景的社交礼仪和准则

MMSU采用严格的评测设计原则：

1. 多模态融合：题目需同时处理视觉和文本信息
2. 干扰项设计：错误选项具有高迷惑性，需真正社交理解区分
3. 跨文化覆盖：包含不同文化背景场景，避免西方中心偏见
4. 难度分层：从基础情绪识别到复杂社交推理，形成渐进式难度曲线

基于MMSU的初步评测发现：

• 最佳模型在社交智能任务准确率远低于传统视觉任务
• 模型在微妙情绪和非字面语言理解上有系统性缺陷
• 跨文化社交场景泛化能力普遍较弱
• 模型规模增长未自动带来社交智能同步提升 这些表明社交智能需专门设计和训练策略。

MMSU对AI领域的价值： 研究者：标准化评测工具，识别模型社交认知缺陷，指导改进方向 开发者：参考分数判断模型是否适合需深度社交理解的场景（如虚拟助手、教育机器人） 行业：推动AI从“能对话”向“懂对话”演进，提升用户体验与信任度

MMSU项目完全开源，研究者和开发者可通过GitHub获取数据集、评测代码和基准结果。项目鼓励社区贡献多样化社交场景样本，尤其是非西方文化背景案例，以提升评测的全面性和公平性。

社交智能是人工智能迈向通用智能的关键。MMSU为当前多模态模型提供“体检报告”，也为下一代模型设计指明方向。期待未来出现更善解人意、能应对复杂社交环境的AI系统。