推理模型测试时计算优化：固定预算下的准确率最大化策略

本文深入探讨在固定推理计算预算下，如何通过多数投票、PRM引导的束搜索等前沿测试时计算策略，最大化推理模型在数学测试集上的准确率。研究系统性比较多种方法表现，为实际部署推理模型提供关键指导。

大型推理模型（如GPT-4、Claude）在复杂数学问题上能力突出，但计算成本高昂。实际应用中无法无限扩展资源，因此聚焦“测试时计算”策略优化资源分配。研究选择MATH测试集（高难度数学竞赛题，推理能力金标准），核心问题：固定预算下哪种策略能最大化解题准确率？

研究评估四种主流策略：

1. 多数投票：生成多个独立解答，投票选频率最高答案，实现简单但平等对待所有解答；
2. 朴素最优N选（PRM）：生成N候选，用PRM（过程奖励模型）打分选最高，精细识别高质量推理路径；
3. 加权最优N选（PRM）：引入权重机制平衡候选相对质量差异，增强复杂问题鲁棒性；
4. PRM引导束搜索：每步维护K候选束，PRM评分保留高得分路径扩展，系统性探索解空间。

固定预算下，PRM类策略普遍优于多数投票（过程级反馈提升推理质量）；束搜索在中等预算表现突出（动态分配资源减少浪费）；不同预算适用场景：极有限预算用多数投票+少量样本，充足预算用束搜索挖掘深层推理模式。

企业级应用：选合适策略可降本提效（如在线数学辅导用束搜索保证速度与质量）；研究方向：更高效PRM设计、测试时计算与微调结合；方法可推广到代码生成、科学推理等领域。

关键组件：高质量PRM（评估推理步骤合理性）、高效采样机制（生成多样化候选）、平衡探索与利用的搜索算法；策略可组合（如束搜索生成候选+多数投票决策）。

测试时计算优化是LLM推理能力提升的重要方向，聪明利用计算能力比堆砌算力更具价值。本研究提供实践指南，未来AI系统将在更高效计算模式下展现更强推理能力。