SPEX：通过推测性探索突破思维树推理的奖励屏障

本文介绍SPEX框架，通过推测性路径选择、动态预算分配和自适应早停三项关键技术，打破思维树（ToT）推理的奖励依赖屏障，实现1.2-3倍加速，与推测解码结合可达4.1倍，为LLM复杂推理的效率优化提供实用方案。

思维树（ToT）推理将大语言模型推理过程结构化为树形搜索，在复杂数学和编程任务中潜力显著，但受"奖励依赖屏障"制约——顺序奖励引导探索导致同步瓶颈，限制搜索并行性并增加延迟。现有优化多针对线性思维链（CoT）设计，无法有效解决ToT的独特挑战，效率潜力未充分挖掘。

SPEX框架核心是通过推测性探索打破奖励同步屏障，包含三项关键技术：

1. 查询内推测性路径选择：预测并扩展ToT树中高潜力分支，优先探索更可能通向正确解的方向，避免无效分支浪费资源；
2. 查询间动态预算分配：在不同查询间动态平衡资源，简单查询减少投入、复杂查询增加预算，优化整体效率；
3. 自适应早停机制：针对偏斜搜索树特点，剪枝深层冗余分支，及时终止低潜力路径并重新分配资源。

SPEX基于SGLang框架实现，经多种ToT算法和LLM全面评估：

• 显著加速：在不同ToT推理算法上实现1.2-3倍加速；
• 协同效应：与令牌级推测解码结合，累计加速可达4.1倍；
• 技术验证：消融研究确认每项技术的独立贡献。

SPEX是高效可扩展ToT推理的重要一步，通过解锁并行性为LLM复杂推理任务提供实用解决方案。其关键优势包括：

• 通用性：兼容多种ToT算法；
• 可组合性：能与现有推测解码技术协同工作；
• 低开销：实现机制轻量，易于集成。

SPEX为思维树推理的实际部署铺平道路，随着LLM在推理密集型任务中应用增多，此类效率优化技术将成为释放模型潜力的关键。研究团队开源的实现为社区提供宝贵起点，有望激发更多高效推理算法的研究。