ACTS：通过智能体思维链引导实现高效可控的LLM推理

ACTS（Agentic Chain-of-Thought Steering）是一种针对LLM思维链推理的高效可控框架，核心是将推理引导建模为马尔可夫决策过程，通过双智能体架构（冻结推理器+控制器智能体）动态选择策略，在保持推理质量的同时实现显著token节省，并支持灵活的准确率-效率权衡。该研究为LLM推理的精细化控制提供了新路径。

思维链推理的双刃剑

大型语言模型通过思维链（CoT）推理提升准确率，但存在两大缺陷：

1. Token消耗低效：生成大量冗余内容，浪费计算资源；
2. 推理控制缺失：用户无法干预思考方向和深度。

现有方法局限

现有高效推理方法（缩短、早停、压缩）仅关注“说多少”，未涉及“如何想”，推理策略仍是黑箱，缺乏显式引导控制。

双智能体架构

• 冻结推理器：负责实际推理生成，保持冻结以保留基础能力；
• 控制器智能体：轻量级策略网络，每步决定引导动作（推理策略+引导短语）。

MDP建模

将推理步骤建模为马尔可夫决策过程：

• 状态：当前推理轨迹摘要+剩余思考预算；
• 动作：推理策略（如详细分析/快速验证）+引导短语；
• 奖励：综合预算条件与推理质量的信号。

训练方法

1. 合成轨迹初始化：基于多预算增强示例进行监督学习，获得基础引导能力；
2. 强化学习优化：通过预算条件化奖励塑形（考虑质量、效率、策略一致性）优化控制器。

关键实验结论

1. 保持推理质量：大幅减少token消耗的同时，性能与完整推理相当；
2. 显著Token节省：相比无引导推理，实现实质性token节省，降低成本并提升响应速度；
3. 可控权衡：支持灵活调整预算参数，平衡准确率与效率（如高准确率场景分配更多预算）；
4. 跨模型泛化：在不同推理器和任务上验证了有效性。

技术洞察

1. 控制升级：从“控制输出”到“控制策略”，提升推理透明度与可调节性；
2. 协作范式：双智能体分工（推理器提供基础能力，控制器负责策略）为LLM系统设计提供新思路；
3. 预算感知：将资源预算纳入决策，适配资源受限场景。

总结

ACTS通过MDP建模与双智能体架构，实现了LLM推理的高效可控，在保持质量的同时节省token，并支持灵活权衡，具有重要理论与实践价值。

ACTS技术适用于以下场景：

1. 成本敏感生产环境：平衡推理质量与API调用成本的商业应用；
2. 实时交互系统：对话机器人/实时助手需快速响应的场景；
3. 多层级推理任务：对不同子任务动态调整推理策略的复杂任务。 该框架为LLM推理的精细化控制提供了可行路径，未来有望在更多实际场景落地。