混合强化学习与LLM的智能体决策框架：Wumpus World中的双轨探索

本文介绍了一个融合纯强化学习与语言模型增强方法的Wumpus World求解框架，探讨了PPO-based循环神经网络与基于SFT+GRPO的LLM推理决策两种技术路线的实现原理与对比价值。该项目通过双轨并行设计，为理解不同AI范式的优劣提供了对照样本。

Wumpus World是AI教育中的经典测试场景，智能体需在部分可观测的网格世界中导航，避开陷阱与Wumpus怪物，寻找黄金，考验推理、风险评估与长期规划能力。近期开源项目采用双轨并行设计，对比纯强化学习与LLM增强两种技术路线，旨在探究不同AI范式的特性。

纯RL方案采用PPO算法（稳定的策略梯度方法），限制策略更新幅度以避免训练震荡。关键设计为循环神经网络（RNN）架构，利用其记忆能力整合历史观测，逐步构建环境内部认知地图，模拟人类探险者拼凑危险地图的行为，如通过局部线索推断安全路径。

LLM路线采用两阶段训练：监督微调（SFT）学习Wumpus World规则与决策模式，再通过GRPO优化微调偏好。核心是让LLM充当推理引擎，接收自然语言环境描述，生成推理过程与决策（如基于感知线索推断Wumpus位置），具有可解释性强、依赖样本少的优势。

样本效率上，LLM方法因预训练逻辑推理基础，需较少交互样本；泛化能力上，纯RL策略针对特定环境，环境变化需重新训练，而LLM通用推理能力或更易适应变化；可解释性上，LLM显式推理过程清晰，纯RL智能体为“黑盒”。

该框架为研究者提供标准化测试平台，为实践者展示技术结合的优势。未来方向包括：混合智能体（LLM负责高层规划，RL负责底层动作）、迁移学习（LLM适应不同网格世界变体）等，助力通用AI智能体构建。

Wumpus World触及AI核心挑战（不确定性决策、探索利用平衡、感知整合），该项目通过对比两种范式提供新视角。无论方法优劣，“让数据说话”的对比研究态度值得肯定，保持对不同范式的开放好奇是接近通用AI的关键路径。