SMMU基准测试：评估多模态大语言模型的社交智能

本文介绍SMMU（Social Intelligence Benchmark for Multimodal Understanding）项目，这是一个专门评估多模态大语言模型社交智能能力的基准测试框架。当前AI评估体系丰富但长期忽视社交智能这一核心能力，而社交智能对AI融入人类社会至关重要。SMMU通过多维度解构社交智能（情绪识别、心智理论、社交情境理解、推理预测），采用多模态测试设计和混合评估方法，填补了这一评估空白，为模型开发者和研究者提供诊断工具与共同平台，推动AI评估向更贴近人类真实能力方向发展。

当前多模态大语言模型评估体系涵盖视觉问答、图像描述等多个维度，但社交智能这一人类智能核心组成部分却被长期忽视。社交智能涉及理解他人情绪、意图、信念，解读社交情境线索，预测人际互动轨迹，对服务人类的AI系统至关重要——缺乏社交智能的AI实用价值将大打折扣。

SMMU项目旨在填补社交智能评估空白，核心贡献是定义社交智能评估问题空间并构建标准化数据集。框架将社交智能分解为四个子维度：基础层面的情绪识别（识别面部表情、肢体语言等非语言线索）；深层的心智理论（理解他人不同信念与意图）；社交情境理解（把握场景规范与文化背景）；最高层次的社交推理与预测（预测情境发展及行为后果）。

SMMU的显著特点是多模态设计，测试材料整合视觉（图片、视频）与语言信息，贴近真实社交场景。评估采用多项选择题与开放式问答混合模式：选择题便于大规模自动评估，开放式问答揭示推理细节。指标除准确率外，还关注置信度校准、分层表现及对抗鲁棒性，全面反映模型行为特征。

基于SMMU的初步评估显示，现有模型在基础情绪识别任务表现较好，但在复杂心智理论和社交推理任务上与人类差距显著。失败模式分析发现，模型在整合多种社交线索、处理长期关系动态或文化特定规范时易出现系统性错误，引发对训练数据和预训练目标的反思。

SMMU的应用价值包括：为开发者提供诊断工具，帮助识别社交智能短板；为研究者建立公平比较平台。未来方向可扩展社交情境类型、增加跨文化样本、开发细粒度错误分析工具，探索社交智能与其他认知能力关联。社交智能是人机协作基石，其评估与培养应成为AI发展重要一环，助力AI安全与对齐。