推理模型测试时计算优化：SFT与GRPO微调策略对比研究

该研究聚焦固定推理计算预算下，不同测试时计算策略（多数投票、Best-of-N、PRM引导束搜索、预算强制）对推理精度的影响，并对比SFT与GRPO两种微调方法的效果差异。核心问题是：最优测试时策略是否取决于微调方法？研究揭示了微调方式与测试时策略的交互效应，为高效推理系统设计提供参考。

研究背景与核心问题

近年来，大型语言模型在推理任务（数学、代码、逻辑）表现提升，但推理成本剧增。如何在有限计算预算内最大化精度成为部署关键挑战。

测试时计算策略通过推理阶段生成多个候选答案筛选，以较低额外成本提升精度。

核心问题：固定预算下哪种测试时策略精度最高？最优策略选择是否依赖微调方法（SFT vs GRPO）？

测试时计算策略概览

评估四种主流策略：

1. 多数投票

简单集成策略，生成多个独立答案，选频率最高的。优势：实现简单无需额外模型；缺点：正确答案不占多数时效果差。

2. Best-of-N with PRM

生成N个候选，用过程奖励模型（PRM）评分选最高。PRM评估推理过程合理性，复杂任务更可靠。

3. PRM引导束搜索

每步维护候选束，用PRM指导搜索方向，优先探索有希望路径。比独立采样更有效利用预算，但实现复杂。

4. 预算强制

动态调整生成长度/思考深度控制计算消耗，平衡效率与质量。

SFT与GRPO微调范式对比

监督微调（SFT）

主流方法，在高质量标注数据上监督学习任务模式。优势：训练稳定、收敛快，直接学习专家思路；缺点：泛化能力有限（分布外问题）。

GRPO微调

基于强化学习，优化策略最大化奖励。不直接学固定模式，探索多样解题策略；挑战：训练不稳定、奖励黑客。

研究发现与启示

核心发现：微调方法与测试时策略存在显著交互效应。

• SFT模型：多数投票即可获可观精度提升（答案模式一致）。
• GRPO模型：复杂PRM引导策略更优（答案多样性高，需精细筛选）。

预算规模影响：小预算时简单策略性价比高；大预算时复杂搜索策略更能发挥资源价值。

实际应用意义

对大型推理模型部署有直接指导：

• 开发者需结合模型训练方式选择推理策略，而非孤立考虑策略本身。
• 资源受限场景：找到最小计算开销获最大精度提升的策略。
• 极致性能场景：理解策略上限与边界，设计高效推理系统。

未来研究方向

• 设计自适应测试时策略：根据问题难度动态调整计算分配。
• 构建混合推理框架：结合多种策略优势。
• 适应模型能力提升：演进测试时策略以匹配新模型特性。

结语

大型语言模型推理能力增强背景下，高效利用计算资源是关键课题。本研究通过系统对比测试时策略与微调方法组合效果，为高效推理系统提供实证依据与决策参考。期待更智能、高效的推理范式涌现。