Reasoning Benchmark：专门揭露大语言模型推理漏洞的轻量级评测集

摘要：一个包含100道简短问题的评测数据集，专门设计用于暴露大语言模型在看似简单场景下的推理缺陷，涵盖目标锚定、世界状态追踪、社交语用推理等多个维度。

该评测集由社区开发者维护，旨在填补当前大语言模型评测中对简单日常推理问题关注不足的空白，帮助快速定位模型推理盲点。

当前大语言模型评测常聚焦复杂任务和长文本理解，但忽视了模型在处理看似简单的日常推理问题时是否真正理解核心。Reasoning Benchmark项目由此诞生，通过一系列表面简单却暗藏玄机的自然语言问题，有效暴露模型推理过程中的盲点。

设计哲学：采用'精准打击'思路，每道题针对特定推理失败模式，100道题虽数量不多但具明确诊断价值，避免海量低质数据的淹没。

核心评测维度覆盖七个认知盲区：

1. 目标锚定：识别最终目标与中间步骤区别；
2. 世界状态追踪：动态追踪对象状态变化；
3. 社交语用推理：理解言外之意与社交规范；
4. 代词消解与常识锚定：正确识别代词所指并结合常识推断；
5. 物理常识与测试条件推理：具备基本物理世界常识；
6. 指令歧义与澄清判断：识别歧义或主动寻求澄清；
7. 谜题模板过拟合：检测是否依赖模式匹配而非真正推理。

技术架构：

• 数据层：标准化题目数据集，含类别、预期答案、常见错误等标注；
• 适配器层：统一接口支持接入不同模型提供商；
• 执行层：支持冒烟测试（前5题）和完整评测；
• 评分层：自动评分并标记需人工复核的边缘案例。

使用方式：通过命令快速启动评测，支持冒烟测试、完整评测，生成结构化报告；还可集成到持续集成流程，自定义评测子集、参数和输出格式。

当前状态：已定义第二版框架规范（实体形态、产物包格式、评分合约等），100题版本用于早期模型评估和数据集剪枝，非最终正式版。

发展路线：清理冗余/套路化题目、定义更精细评分标准、增加模型适配器、发布跨模型基线对比结果；项目采用MIT许可证开源，欢迎社区贡献。

实践意义：

• 模型开发者：快速诊断工具，识别具体弱点；
• 研究人员：标准化基准，比较不同架构和训练方法效果；
• 普通用户：直观窗口，了解AI真实能力边界。

启示：当前大语言模型在'流畅回答'与'真正理解'间存在显著差距，真正的智能在于正确回答每一个简单问题。