导读：SenseMath——评估LLM数学直觉能力的基准框架

SenseMath是一款开源基准测试工具，专注于评估大语言模型（LLM）的数字感知（数学直觉）能力。它解决了传统数学测试仅关注计算能力而忽视深层直觉的问题，通过多维度设计连接认知科学与AI，帮助揭示模型是否真正理解数学概念，而非依赖模式匹配。

项目背景与动机

数字感知的定义

数字感知是人类与生俱来的认知能力，包括数量直觉、数值比较、近似估计和数量守恒等。对LLM而言，这意味着理解多与少、无需计算判断大小、合理估计数值范围等能力。

现有评估的局限

传统数学基准（如GSM8K、MATH）侧重计算与解题技巧，忽略数字感知，导致模型可能在标准测试中高分，但在简单数量判断上出错，难以区分推理与记忆。

SenseMath核心设计

评估维度

1. 数量表征：测试模型对不同数量的准确表征，包括小数量识别、大数量估计及数字与概念的关联。
2. 数值比较：评估距离效应、大小效应等经典认知现象。
3. 数量操作：测试加减影响、数量守恒及比例推理能力。

测试任务

包含点阵比较、数值距离判断、数量守恒、近似算术等任务，模拟人类认知测试场景。

技术实现细节

数据集构建

遵循严格标准：单维度评估、难度梯度、非训练语料、人类对比基准。

评估指标

采用正确回答比例、错误类型一致性、置信度匹配度及跨任务迁移能力等多维度指标。

模型对比

支持不同架构、参数规模及专用/通用训练模型的标准化对比。

研究发现与启示

当前LLM现状

多数模型在1-3个物体时表现好（符合人类瞬间计数），但超过阈值后准确率下降；处理阿拉伯数字与点阵方式差异大，依赖训练数据统计规律而非内在表征。

模型设计启示

纯文本预训练不足，需专用模块；结合视觉与符号训练；借鉴人类认知规律设计架构。

应用场景

模型选型指导

帮助选择适合数学辅导、数值数据处理、数值模拟的模型。

模型改进方向

针对薄弱点增加训练数据、设计专用数值模块、结合专用计算引擎。

认知科学研究

提供人类与AI对比、模型能力发展模拟、内部激活分析的工具。

局限性与未来工作

现有局限

• 侧重基础数字感知，高级数学直觉待开发；
• 基于西方认知研究，可能不适用于所有文化；
• 缺乏模型学习过程动态跟踪。

未来计划

• 扩展分数、负数等复杂概念；
• 开发自适应测试；
• 建立多文化数据集；
• 探索神经符号结合评估方法。