HiPER：面向大语言模型智能体的分层强化学习框架

HiPER是一种创新的分层强化学习框架，通过显式分离高层规划与低层执行，解决了多轮交互任务中稀疏奖励和信用分配难题，在ALFWorld和WebShop基准上达到SOTA性能。

• 原作者/维护者: JonP07 (Jiangweizhi Peng) 及合作者
• 来源平台: GitHub
• 原始标题: HiPER-agent
• 原始链接: https://github.com/JonP07/HiPER-agent
• 论文链接: https://arxiv.org/abs/2602.16165
• 来源发布时间: 2026年2月
• 会议: ICML 2026

---

大语言模型（LLM）作为智能体在交互式环境中执行多轮决策任务时，面临着严峻的挑战。特别是在长程任务中，奖励信号往往是稀疏且延迟的——智能体可能需要执行数十甚至上百步动作后才能获得有意义的反馈。

传统的强化学习方法通常将LLM智能体建模为单一时间尺度的扁平策略，每一步选择一个动作。这种设计在稀疏奖励场景下存在根本性缺陷：信用必须跨越整个轨迹进行传播，缺乏显式的时间抽象，导致优化过程不稳定，信用分配效率低下。

HiPER（Hierarchical Plan-Execute Reinforcement Learning）提出了一种创新的分层框架，其核心洞察在于：显式分离高层规划与低层执行。

这一框架将策略分解为两个协同工作的组件：

1. 高层规划器（Planner）：负责提出子目标（subgoals），将复杂任务分解为可管理的子任务序列
2. 低层执行器（Executor）：负责将每个子目标转化为具体的动作序列并执行

这种分层架构借鉴了人类解决问题的直觉——我们不会直接思考每一个肌肉动作，而是先制定计划，再逐步执行。

HiPER的核心技术贡献是分层优势估计（Hierarchical Advantage Estimation, HAE）。这是解决分层强化学习中信用分配难题的关键。

传统的广义优势估计（GAE）在扁平策略中表现良好，但在分层设置中面临挑战：

• 高层规划的更新需要考虑低层执行的累积效果
• 低层执行的更新需要与高层目标保持一致
• 两个层级的优化目标需要协调统一

HAE通过以下机制解决上述问题：

1. 执行级信用分配：对每个子目标的执行过程聚合回报，评估该子目标的质量
2. 规划级信用分配：基于子目标的完成情况，评估高层规划策略
3. 跨层协调：确保两个层级的更新方向一致，提供无偏的梯度估计

理论分析表明，HAE相比扁平GAE具有更小的方差，这意味着更稳定的训练和更快的收敛。

HiPER在两个具有挑战性的交互式基准测试上进行了评估：