Social-MMU：多模态大语言模型社交智能评测新基准

Social-MMU是专门用于评估多模态大语言模型社交智能能力的综合性基准测试框架，旨在填补传统多模态评测在社交层面能力评估的空白。该基准通过设计涵盖情绪识别、社交情境推理、意图推断、共情回应等多维度的测试任务，推动AI在社交场景中的表现评估标准化，助力构建更具社交敏感性的AI系统。

随着GPT-4V、Gemini、Claude等多模态大语言模型的快速发展，AI系统在视觉理解、文本生成等基础能力上取得显著进展，但在复杂社交场景中的表现（如理解人类社交意图、情感状态、情境语境）仍待评估。传统多模态基准主要关注物体识别、场景描述等基础视觉任务，对社交层面能力评估相对薄弱，Social-MMU项目因此应运而生。

Social-MMU由研究者GordonChen19发起，核心目标包括：建立社交智能能力的标准化、可量化评测体系；覆盖从基础情绪识别到复杂社交推理的全谱系任务；识别当前多模态模型的社交智能短板与改进方向；为构建负责任的社交敏感AI系统提供评测依据。

Social-MMU围绕五大核心维度展开评测：

1. 情绪识别与理解：识别图像/视频/文本中的基本及复杂情绪，评估情绪强度与混合状态辨识能力；
2. 社交情境推理：理解特定场合的行为规范、角色关系、权力动态及跨文化社交礼仪；
3. 意图推断与心理理论：通过行为、表情等线索推断他人心理动机与社交意图；
4. 共情与适当回应：感知他人情绪后生成符合社交规范的同理心回应；
5. 多模态信息整合：有效整合视觉、文本等多模态信息，形成对社交情境的完整理解。

Social-MMU的评测设计遵循四大原则：

• 生态效度优先：任务贴近真实社交场景，数据来源于日常对话、社交媒体、影视作品等真实互动；
• 多层级难度：任务难度梯度分布，区分不同能力模型并揭示瓶颈；
• 跨文化普适性：涵盖多元化社交场景，避免特定文化过度代表；
• 可解释性评估：关注模型推理过程的合理性与可解释性，而非仅最终答案正确性。

Social-MMU对多模态AI研究的意义包括：

1. 提供统一评测平台，实现不同模型社交智能能力的可比性；
2. 揭示当前模型局限性，指导未来改进方向；
3. 为应用开发者提供选型参考，适用于虚拟助手、社交机器人等需社交敏感性的场景。

Social-MMU的未来发展方向包括：

• 动态交互评测：扩展到多轮动态交互，模拟真实社交对话；
• 跨模态扩展：整合音频（语调、语速）及时序信息，提升评测全面性；
• 文化适应性增强：进一步扩展跨文化场景覆盖，提升全球普适性；
• 下游任务结合：探索社交智能评测结果与实际应用性能的关联性。

Social-MMU标志着多模态AI评测从基础感知能力向高级社交认知能力的重要拓展。随着AI融入人类社会，评估与提升其社交智能愈发关键。该项目的开源性质将推动社区共同完善框架，助力多模态AI在社交智能领域的持续进步。