SOTOPIA-TOM：多智能体交互中的心智理论与信息管理评估

SOTOPIA-TOM是一个多维度基准框架，旨在评估LLM智能体在信息不对称、隐私敏感的多方交互场景中管理信息的能力。该框架揭示了当前模型在复杂协调场景中的持续局限，而心智理论（ToM）干预被证明能显著提升智能体的信息管理表现。

随着LLM智能体参与多方交互场景增多，妥善处理信息不对称（知道何时向谁披露信息）成为关键需求。然而，现有基准无法在真实多方场景中衡量这种能力，制约了多智能体系统的发展。

核心目标

SOTOPIA-TOM聚焦评估智能体在信息不对称环境、隐私敏感交互、多方协调场景（3-5个智能体）中的导航能力。

交互环境

支持两种通信模式：

• 公开通信（广播）：共享公共信息与协调行动
• 私有通信（直接消息）：模拟私下协商

场景设计

包含160个人工审核场景，覆盖8个行业领域，每个智能体拥有独特信息片段，信息传播依赖不同渠道。

评估维度

1. 信息共享能力：适时向适当对象分享有用信息
2. 信息获取能力：主动寻求缺失信息
3. 协调效率：任务完成时间、通信轮次等指标
4. 隐私保护：防止敏感信息不当泄露

综合指标

研究团队整合四维度为复合INFOMGMT指标，提供一站式评估。

模型覆盖

实验包含6个LLM主干模型及三种提示策略：基线（标准提示）、隐私增强（CoT-privacy）、心智理论干预（ToM-based）。

关键发现

• 顶级模型如GPT-5的INFOMGMT得分仅62%，存在信息寻求缺陷、隐私决策不足等局限。
• ToM干预效果显著：GPT-4o的隐私违规率从9.9%降至2.2%（↓77.8%），INFOMGMT得分从15%提升至40%（↑166.7%）。

不同策略效果差异：

• 标准提示：缺乏对隐私和协调的显式考虑
• CoT-privacy：隐私保护有改进，但协调效率可能受损
• ToM干预：在协调与隐私之间取得最佳平衡

暴露的局限

当前LLM智能体在复杂信息不对称协调、隐私感知决策、心智理论能力方面存在持续不足。

平台价值

SOTOPIA-TOM是可扩展测试平台，支持开发隐私意识多智能体系统、研究ToM应用等。

实际应用

成果可用于智能客服、谈判决策支持、隐私保护AI、社交机器人等场景。

未来研究

1. 增强心智理论能力
2. 优化隐私-效用权衡
3. 多智能体学习信息管理策略
4. 跨领域泛化研究

结论

SOTOPIA-TOM通过真实场景与全面评估，系统性揭示了LLM智能体的信息管理局限。ToM干预的显著效果表明，显式心智理论建模是提升多智能体系统能力的关键方向，为相关研究提供了重要标准与方向。