STACK：让大推理模型"少想多做"的高效推理压缩框架

大推理模型（如OpenAI o1、DeepSeek-R1）依赖冗长思维链在复杂任务中取得突破，但过度思考导致高计算成本、推理延迟及准确率下降。STACK框架通过状态感知推理压缩与知识引导，在三个数学推理基准上实现推理长度减少59.9%的同时，准确率提升4.8个百分点，为大模型效率优化开辟新路径。

过度思考现象

1. 冗余验证循环：得出初步结论后反复验证同一步骤，生成大量无新信息的token；
2. 自我修正泥潭：陷入质疑-修正的循环，最终可能给出错误答案；
3. 无关知识泛滥：调用与问题无关的背景知识，浪费资源且引入干扰。

现有压缩方法局限

• 粗粒度压缩：缺乏细粒度分析，易误删关键步骤或保留冗余；
• 静态策略：固定规则无法适应动态推理阶段；
• 权衡困境：激进压缩牺牲准确率，保守压缩无法解决根本问题。

STACK通过三个创新解决问题：

1. 状态感知：动态识别两种冗余状态——不确定/偏见状态（需外部知识引导）、过度自信长推理状态（可自我压缩）；
2. 双压缩机制：
   • 知识引导压缩：检索外部知识库纠正偏差、提供压缩参照、增强信心；
   • 自我提示压缩：引导模型识别重复步骤、生成简洁等效推理；
3. 答案收敛早期停止：连续N步答案相同且置信稳定时终止推理，抑制冗余验证。

在线对比样本构建

为每个问题生成长版本（自由思维链）和短版本（压缩推理）作为偏好对。

混合训练目标

• PPO组件：优化策略网络，稳定选择压缩动作；
• DPO组件：利用偏好信号训练简洁推理生成；
• 奖励函数：包含准确性奖励（正确正奖励/错误负奖励）和效率奖励（长度越短越高，设过度压缩阈值）。

基准设置

在GSM8K（小学数学）、MATH（高中竞赛）、OlympiadBench（奥赛难题）三个基准测试。

核心结果

• 推理长度减少59.9%，部分简单问题压缩超70%；
• 准确率提升4.8个百分点，证明过度思考损害性能；
• 跨模型一致：适用于Llama、Qwen、GPT-4等模型。

消融实验

• 移除状态感知性能显著下降；
• 知识引导+自我提示效果最佳；
• 早期停止机制同时节省计算并提升准确率；
• 混合训练优于纯PPO或纯DPO。

部署意义

• 成本削减：推理长度减半降低计算成本；
• 体验提升：更低延迟改善实时交互场景；
• 环保：减少能源消耗与碳排放。

研究启示

• 效率与能力可兼得，智能需“知止”；
• 元认知能力（自我状态感知）是改进方向；
• RAG技术可用于优化推理过程。

局限性

• 领域泛化：仅验证数学推理，需扩展到创意写作、对话等领域；
• 知识库依赖：知识引导效果受外部知识库质量影响；
• 压缩极限：超过阈值准确率下降，需确定最优比例；
• 可解释性：压缩决策逻辑不够透明。

未来方向

探索跨领域适配、优化知识库依赖、研究压缩极限与可解释性提升。