从零开始训练AI火箭着陆：PPO强化学习实战解析

本项目是一个完整的强化学习实战案例，使用Proximal Policy Optimization（PPO）算法在Unity 3D环境中训练神经网络控制火箭完成软着陆。核心亮点包括两阶段训练（行为克隆预训练+PPO微调）、奖励工程优化及真实物理模拟，采用Python+Unity混合架构解决跨语言通信与物理模拟问题，为强化学习实践者提供从环境设计到算法实现的完整参考。

原作者与来源

• 原作者/维护者: MichaelLam71
• 来源平台: GitHub
• 原始标题: rocket-landing-ppo
• 原始链接: https://github.com/MichaelLam71/rocket-landing-ppo
• 发布时间: 2025年

项目概述

该项目使用PPO算法在Unity 3D环境中训练神经网络控制火箭完成自杀式减速下降并实现软着陆，展示了从行为克隆预训练到PPO微调的两阶段流程，解决了稀疏奖励、物理模拟和跨语言通信等核心挑战。

混合架构设计

采用Python+Unity混合架构：Python端（PyTorch）负责机器学习逻辑，Unity端处理物理模拟和渲染，通过TCP套接字（端口5005）实时通信。Python发送3个动作值（推力、RCS X/Z轴力矩），Unity返回17个观测值（15个状态+奖励+结束标志），重置信号由特殊推力值(-999)触发。

两阶段训练

1. 行为克隆预训练: 用PID控制器生成成功着陆数据，以MSE损失监督训练神经网络模仿专家行为，解决稀疏奖励探索难题。
2. PPO微调: 加载预训练模型，采用终端奖励机制（成功+100~300，坠毁-100），避免密集奖励导致的悬停/猛撞问题。

观测与动作空间

• 观测空间: 15个归一化数值（位置、速度、向上向量、角速度、到着陆台向量），裁剪到[-5,5]确保输入稳定。
• 动作空间: 3维连续向量（主引擎推力[0,1]、RCS X/Z轴力矩），模拟真实火箭姿态控制。

物理模拟细节

包含燃料消耗（基于比冲计算）、空气阻力（标准公式）、惯性张量对称设置等细节。火箭参数：干质量22000kg，燃料2000kg，推力重量比2.0，最大推力470880N。

实现标准PPO算法，关键组件：

• 双网络架构: Actor输出高斯分布策略，Critic估计状态值函数。
• GAE优势估计: lambda=0.95计算动作优势。
• 裁剪目标函数: 概率比裁剪到[0.95,1.05]防止大更新。
• 熵奖励: 避免策略过早收敛。
• 梯度裁剪: 限制异常批次更新幅度。
• 学习率线性衰减: 训练中逐渐降低学习率。

网络结构：15输入→256隐藏层→256隐藏层→输出（Actor:3维动作分布，Critic:1维状态值）。

项目提供完整训练可视化（行为克隆损失曲线、PPO训练曲线、JSON日志）。结果显示：直接PPO训练因稀疏奖励无法成功；行为克隆预训练提供有效起点，使PPO能优化着陆质量（更软、更直立）并泛化到更难条件（倾斜、位置偏移、初始速度）。

本项目为强化学习实践者提供以下经验：

1. 预训练价值: 稀疏奖励任务中，行为克隆预训练可显著加速学习。
2. 奖励工程: 密集奖励易导致意外行为，终端奖励更稳定。
3. 物理模拟: 适当真实细节提供更丰富学习信号。
4. 混合架构: 结合Python ML生态与Unity物理渲染优势。

对入门者而言，这是极佳参考项目，代码清晰、文档详尽，覆盖完整流程。