# KCSAT-ML：基于真实人类难度信号的推理模型评估基准

> 韩国高考数学十年真题构建新基准，引入DRG指标揭示模型在难度对齐上的差异，发现测试时缩放的双面效应

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-09T04:25:44.000Z
- 最近活动: 2026-06-10T01:21:48.081Z
- 热度: 128.1
- 关键词: 数学推理, 基准测试, 韩国高考, 难度对齐, 测试时缩放, DRG指标, 人机对齐
- 页面链接: https://www.zingnex.cn/forum/thread/kcsat-ml
- Canonical: https://www.zingnex.cn/forum/thread/kcsat-ml
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：arXiv authors
- 来源平台：arxiv
- 原始标题：KCSAT-ML: Probing Reasoning Models with Nationwide-Cohort Human Difficulty
- 原始链接：http://arxiv.org/abs/2606.10403v1
- 来源发布时间/更新时间：2026-06-09T04:25:44Z

## 原作者与来源\n\n- **原作者/团队**：NAVER AI研究团队\n- **来源平台**：arXiv\n- **原文标题**：KCSAT-ML: Probing Reasoning Models with Nationwide-Cohort Human Difficulty\n- **原文链接**：http://arxiv.org/abs/2606.10403v1\n- **发布时间**：2026年6月9日\n- **开源代码**：https://github.com/naver-ai/KCSAT-ML\n\n## 数学推理基准的困境\n\n数学推理基准测试近年来大量涌现，但大多数面临一个根本性问题：**缺乏基于真实人类表现的逐题难度信号**。现有基准通常假设所有题目难度相当，或使用启发式方法估计难度，而非基于大规模人群的实际表现数据。\n\n这一缺陷导致：\n\n- **准确率指标的误导性**：两个准确率相同的模型可能在完全不同类型的题目上犯错\n- **难度感知的缺失**：无法区分模型是在"人类也觉得难的题"上犯错，还是在"人类觉得简单的题"上犯错\n- **能力评估的片面性**：忽视了模型推理能力与人类认知难度的对齐程度\n\n## KCSAT-ML基准介绍\n\nKCSAT-ML是一个基于韩国高考（KCSAT，又称Suneung）数学试题的新型评估基准，覆盖了**2014年至2025年共十年的664道题目**。\n\n### 真实人类难度数据\n\n该基准的核心优势在于其339题核心子集包含了官方提供的**逐题错误率数据**，这些数据来自每年数十万考生的全国队列。这意味着：\n\n- 每道题的难度都有真实的人类表现数据支撑\n- 难度分布覆盖了从极易到极难的完整谱系\n- 避免了人工标注可能引入的主观偏差\n\n### 数据规模与质量\n\n- **总题量**：664道（2014-2025年）\n- **核心子集**：339道（含官方错误率数据）\n- **考生规模**：每年数十万，累计数百万考生样本\n- **题型覆盖**：韩国高考数学的全部题型和难度层级\n\n## DRG：难度对齐推理增益指标\n\n研究团队提出了**DRG（Difficulty-aligned Reasoning Gain，难度对齐推理增益）**，这是一个与准确率正交的新指标。\n\n### 核心问题\n\nDRG回答一个关键问题：**模型的错误是集中在人类觉得难的题目上，还是集中在人类觉得简单的题目上？**\n\n### 指标意义\n\n- **高DRG**：模型犯的错误与人类感到困难的题目高度重合，表明模型具有与人类相似的难度感知\n- **低DRG**：模型在人类觉得简单的题目上犯错，却在人类觉得难的题目上表现良好，表明模型的推理模式可能与人类存在系统性差异\n\n### 准确率相同，DRG迥异\n\n研究发现，**准确率相近的模型可能具有截然不同的DRG值**：\n\n- 模型A：在人类觉得难的题目上犯错（高DRG）\n- 模型B：在人类觉得简单的题目上犯错（低DRG）\n\n这种差异被传统的准确率指标完全掩盖，却对理解模型的真实能力至关重要。\n\n## 三大发现\n\n通过KCSAT-ML和DRG，研究团队在广泛的视觉语言模型（VLM）和通过OCR处理的大语言模型（LLM）中发现了三个重要模式：\n\n### 发现一：低成本准确率在难题尾部崩溃\n\n在所有模型规模下，低计算预算（low-budget）的准确率在**高人类错误率尾部**（即人类觉得最难的题目）出现显著崩溃。这表明：\n\n- 简单增加模型规模并不能自动解决难题的表现问题\n- 计算预算的分配策略对难题性能至关重要\n\n### 发现二：测试时缩放的双面效应\n\n**测试时缩放（Test-Time Scaling, TTS）**呈现出复杂的非单调模式：\n\n- **Token使用**：与人类错误率大致呈线性增长\n- **准确率增益**：呈现非单调曲线\n- **双面现象**：在同一模型家族中，TTS在最难题目上表现为**反缩放**（anti-scaling，增加计算反而降低性能），而在简单题目上表现为**过度思考**（overthinking）\n\n这两种现象实际上是同一对齐失效的两个面向。\n\n### 发现三：DRG揭示的隐藏差异\n\nDRG指标暴露了准确率无法捕捉的模型间差异。一些模型虽然准确率相近，但其错误模式完全不同：\n\n- 有的模型"像人类一样"在难题上挣扎\n- 有的模型却"反人类地"在简单题上失败\n\n这一发现对模型选择和部署具有重要指导意义。\n\n## 技术方法与应用\n\n### OCR处理\n\n对于纯文本LLM，研究团队使用OCR技术将数学题目转换为文本格式。这一处理使得文本模型也能参与视觉数学推理的评估，拓展了基准的适用范围。\n\n### 视觉语言模型评估\n\nKCSAT-ML原生支持VLM评估，可以直接处理包含图表、几何图形等视觉元素的数学题目。\n\n## 对AI推理研究的启示\n\n### 评估指标的多元化\n\nKCSAT-ML和DRG表明，单一的准确率指标不足以全面评估模型的推理能力。未来的评估框架需要：\n\n- 引入基于人类认知的难度对齐指标\n- 关注错误模式的分布，而非仅关注错误数量\n- 区分"人类式错误"和"非人类式错误"\n\n### 测试时缩放策略的优化\n\nTTS的双面效应提示我们，需要更智能的计算分配策略：\n\n- 对简单题目避免过度思考\n- 对难题寻找更有效的推理路径\n- 动态调整计算预算分配\n\n### 人机对齐的新维度\n\nDRG引入了人机对齐的新维度——**难度感知对齐**。一个理想的推理模型不仅应该达到高准确率，还应该在与人类相似的难度分布上犯错。\n\n## 开源贡献\n\n研究团队承诺将代码和数据集构建工具开源，这将促进：\n\n- 研究社区对推理模型难度感知的深入研究\n- 开发更鲁棒的数学推理评估方法\n- 训练能够更好对齐人类难度感知的推理模型\n\n## 总结\n\nKCSAT-ML通过引入基于真实人类表现的难度信号和DRG指标，为数学推理模型的评估提供了新视角。研究发现的测试时缩放双面效应和DRG揭示的隐藏差异，对理解和改进推理模型的能力具有重要价值。随着推理模型在教育、科研等领域的应用日益广泛，理解和优化模型的难度感知能力将成为关键研究方向。