NeurIPS 2026数据集论文CEI开源，包含300个专家编写场景，覆盖5种语用推理子类型，附带Plutchik情感轮和VAD维度标注，并提供7个主流LLM的基线测试结果。

CEI基准测试发布：评估大语言模型语用推理能力的新标准\n\n## 背景与动机\n\n大语言模型在语法正确性和事实知识方面已经取得了显著进展，但在语用推理——即理解语言背后的隐含意义、说话者意图和情感状态——方面仍然存在明显短板。传统的自然语言处理基准测试往往聚焦于字面意义理解，而忽视了人类交流中至关重要的"言外之意"。\n\n为了填补这一评估空白，研究团队提出了CEI（Contextual Emotion Inference）基准测试，专门针对语言模型的语用推理能力进行系统性评估。该工作已被NeurIPS 2026数据集与基准测试轨道接收。\n\n## 数据集构成与特色\n\nCEI数据集包含300个精心设计的专家编写场景，均匀分布在5个语用推理子类型中：\n\n### 五大语用推理子类型\n\n1. 权力动态推理（Power Dynamics）：理解对话中隐含的社会层级和权力关系\n2. 情感推断（Emotion Inference）：从上下文推断说话者的真实情感状态\n3. 讽刺与反语检测（Sarcasm Detection）：识别字面意义与实际意图相反的情况\n4. 暗示理解（Implicature Comprehension）：理解未明言但期望听话者领会的信息\n5. 社交规范推理（Social Norm Reasoning）：判断行为是否符合特定社交情境的期望\n\n每个子类型包含60个场景，确保评估的全面性和平衡性。\n\n### 多维度标注体系\n\n数据集采用双重标注框架：\n\nPlutchik情感轮标注：将情感归类为8种基本情绪（喜悦、信任、恐惧、惊讶、悲伤、厌恶、愤怒、期待）及其组合，提供细粒度的情感分类。\n\nVAD维度评分：从效价（Valence）、唤醒度（Arousal）、支配度（Dominance）三个连续维度量化情感状态，评分范围[-1.0, +1.0]。这种多维表示能够捕捉情感的微妙渐变，而非简单的离散分类。\n\n## 数据质量保证\n\n为确保标注质量，研究团队实施了严格的质量控制流程：\n\n- Fleiss' Kappa一致性检验：计算每个子类型的标注者间一致性，并报告95%置信区间\n- ICC(2,1)组内相关系数：评估VAD评分的可靠性\n- 分层划分：按70/15/15比例划分训练/验证/测试集，确保各子类型分布均衡\n\n数据集还记录了标注者的置信度评分，为后续分析提供不确定性量化依据。\n\n## 基线实验与模型表现\n\n研究团队对7个主流大语言模型进行了全面评估：\n\n| 模型 | 提供商 | 预估成本（300场景） |\n|------|--------|---------------------|\n| GPT-5-mini | OpenAI | ~$0.17 |\n| Claude Sonnet 4.5 | Anthropic | ~$1.35 |\n| Grok-4.1-Fast | xAI | ~$0.05 |\n| Gemini 2.5 Flash | Google | ~$0.21 |\n| Llama-3.1-70B | Together | ~$0.26 |\n| DeepSeek-V3 | Fireworks | ~$0.07 |\n| Qwen2.5-7B | Together | ~$0.09 |\n\n实验覆盖三种提示模式：零样本（zero-shot）、思维链（chain-of-thought）、少样本（few-shot），总实验成本约$7.59。\n\n所有推理使用temperature=0的贪婪解码，确保结果可复现。\n\n## 技术实现与复现\n\n项目采用模块化设计，提供完整的复现流程：\n\nbash\n# 环境配置\npython -m venv .venv && source .venv/bin/activate\npip install -r requirements.txt\n\n# 运行完整分析流程\npython scripts/run_pipeline_cei2026.py --stage all_local\n\n# 生成基线结果（需配置API密钥）\npython scripts/run_pipeline_cei2026.py --stage run_baselines --prompt-mode cot\n\n\n关键设计决策包括：\n- 所有随机操作使用seed=42固定\n- 基线提示针对说话者情感而非听者反应\n- 支持断点续跑（--resume）\n\n## 研究意义与应用前景\n\nCEI基准测试的发布具有多重意义：\n\n理论层面：为语用推理能力提供了可量化的评估框架，推动认知科学与计算语言学的交叉研究。\n\n实践层面：帮助开发者识别模型在真实社交场景中的薄弱环节，指导针对性改进。\n\n方法层面：Plutchik+VAD的双重标注范式可作为其他情感推理任务的参考模板。\n\n## 获取与使用\n\n数据集采用CC-BY-4.0许可，代码采用MIT许可，完全开源可商用。\n\nGitHub仓库：https://github.com/jon-chun/cei-tom-dataset-public\n\n研究者可直接使用提供的分层划分进行公平比较，或基于原始数据构建自定义评估协议。参考基线结果存储于reports/cei2026/目录，便于与新的实验结果对比。\n\n## 结语\n\nCEI基准测试代表了语言模型评估从"语法正确"向"社交智能"演进的重要一步。随着AI系统越来越多地介入人类社交场景，语用推理能力将成为衡量模型实用价值的关键指标。该数据集的发布为社区提供了标准化的评估工具，有望加速下一代更具社交感知能力的语言模型研发。

CEI基准测试发布：评估大语言模型语用推理能力的新标准\n\n背景与动机\n\n大语言模型在语法正确性和事实知识方面已经取得了显著进展，但在语用推理——即理解语言背后的隐含意义、说话者意图和情感状态——方面仍然存在明显短板。传统的自然语言处理基准测试往往聚焦于字面意义理解，而忽视了人类交流中至关重要的"言外之意"。\n\n为了填补这一评估空白，研究团队提出了CEI（Contextual Emotion Inference）基准测试，专门针对语言模型的语用推理能力进行系统性评估。该工作已被NeurIPS 2026数据集与基准测试轨道接收。\n\n数据集构成与特色\n\nCEI数据集包含300个精心设计的专家编写场景，均匀分布在5个语用推理子类型中：\n\n五大语用推理子类型\n\n1. 权力动态推理（Power Dynamics）：理解对话中隐含的社会层级和权力关系\n2. 情感推断（Emotion Inference）：从上下文推断说话者的真实情感状态\n3. 讽刺与反语检测（Sarcasm Detection）：识别字面意义与实际意图相反的情况\n4. 暗示理解（Implicature Comprehension）：理解未明言但期望听话者领会的信息\n5. 社交规范推理（Social Norm Reasoning）：判断行为是否符合特定社交情境的期望\n\n每个子类型包含60个场景，确保评估的全面性和平衡性。\n\n多维度标注体系\n\n数据集采用双重标注框架：\n\nPlutchik情感轮标注：将情感归类为8种基本情绪（喜悦、信任、恐惧、惊讶、悲伤、厌恶、愤怒、期待）及其组合，提供细粒度的情感分类。\n\nVAD维度评分：从效价（Valence）、唤醒度（Arousal）、支配度（Dominance）三个连续维度量化情感状态，评分范围[-1.0, +1.0]。这种多维表示能够捕捉情感的微妙渐变，而非简单的离散分类。\n\n数据质量保证\n\n为确保标注质量，研究团队实施了严格的质量控制流程：\n\n- Fleiss' Kappa一致性检验：计算每个子类型的标注者间一致性，并报告95%置信区间\n- ICC(2,1)组内相关系数：评估VAD评分的可靠性\n- 分层划分：按70/15/15比例划分训练/验证/测试集，确保各子类型分布均衡\n\n数据集还记录了标注者的置信度评分，为后续分析提供不确定性量化依据。\n\n基线实验与模型表现\n\n研究团队对7个主流大语言模型进行了全面评估：\n\n| 模型 | 提供商 | 预估成本（300场景） |\n|------|--------|---------------------|\n| GPT-5-mini | OpenAI | ~$0.17 |\n| Claude Sonnet 4.5 | Anthropic | ~$1.35 |\n| Grok-4.1-Fast | xAI | ~$0.05 |\n| Gemini 2.5 Flash | Google | ~$0.21 |\n| Llama-3.1-70B | Together | ~$0.26 |\n| DeepSeek-V3 | Fireworks | ~$0.07 |\n| Qwen2.5-7B | Together | ~$0.09 |\n\n实验覆盖三种提示模式：零样本（zero-shot）、思维链（chain-of-thought）、少样本（few-shot），总实验成本约$7.59。\n\n所有推理使用temperature=0的贪婪解码，确保结果可复现。\n\n技术实现与复现\n\n项目采用模块化设计，提供完整的复现流程：\n\nbash\n环境配置\npython -m venv .venv && source .venv/bin/activate\npip install -r requirements.txt\n\n运行完整分析流程\npython scripts/run_pipeline_cei2026.py --stage all_local\n\n生成基线结果（需配置API密钥）\npython scripts/run_pipeline_cei2026.py --stage run_baselines --prompt-mode cot\n\n\n关键设计决策包括：\n- 所有随机操作使用seed=42固定\n- 基线提示针对说话者情感而非听者反应\n- 支持断点续跑（--resume）\n\n研究意义与应用前景\n\nCEI基准测试的发布具有多重意义：\n\n理论层面：为语用推理能力提供了可量化的评估框架，推动认知科学与计算语言学的交叉研究。\n\n实践层面：帮助开发者识别模型在真实社交场景中的薄弱环节，指导针对性改进。\n\n方法层面：Plutchik+VAD的双重标注范式可作为其他情感推理任务的参考模板。\n\n获取与使用\n\n数据集采用CC-BY-4.0许可，代码采用MIT许可，完全开源可商用。\n\nGitHub仓库：https://github.com/jon-chun/cei-tom-dataset-public\n\n研究者可直接使用提供的分层划分进行公平比较，或基于原始数据构建自定义评估协议。参考基线结果存储于reports/cei2026/目录，便于与新的实验结果对比。\n\n结语\n\nCEI基准测试代表了语言模型评估从"语法正确"向"社交智能"演进的重要一步。随着AI系统越来越多地介入人类社交场景，语用推理能力将成为衡量模型实用价值的关键指标。该数据集的发布为社区提供了标准化的评估工具，有望加速下一代更具社交感知能力的语言模型研发。