Reason to Play：前沿推理模型与人类游戏学习者的行为和神经对齐研究

本文通过复杂人类游戏行为和fMRI数据，评估前沿大型推理模型（LRMs）与人类学习模式的相似性。研究发现LRMs在行为模式和脑活动预测上显著优于深度强化学习代理，为理解人类学习和决策提供了新的计算模型。

人类学习的独特能力

人类在面对全新环境时展现出的学习能力令人惊叹，核心特征包括：

• 快速规则发现：从有限观察中推断潜在规则和模式
• 假设修正：根据新证据更新内部模型
• 多步规划：基于知识进行前瞻性行动规划

长期以来，AI研究者试图复制这种能力，但现代AI系统是否能像人类一样学习和规划仍是开放问题。

研究设计：游戏、行为与脑活动的三重评估

实验任务：参与者学习规则隐藏、需假设修正和多步规划的新颖视频游戏，捕捉不确定环境中的探索与决策挑战。

三重评估框架：

1. 游戏能力：模型能否学会玩游戏并取得好成绩？
2. 行为匹配度：模型学习过程是否与人类行为模式相似？
3. 神经对齐：模型内部表示能否预测人类脑活动？

被评估的模型：从强化学习到推理模型

前沿大型推理模型（LRMs）：具备强大语言理解、生成及复杂推理规划能力，是研究重点。

深度强化学习代理：包括无模型和基于模型两类，通过试错优化行为。

贝叶斯理论代理：基于概率推理，显式维护规则概率分布并进行贝叶斯更新。

核心发现：LRMs展现出卓越的人类相似性

• 行为模式匹配：LRMs学习轨迹与人类最接近，包括探索方式、策略调整及规则理解过程。
• 脑活动预测优势：LRMs内部表示与人类神经活动相关性显著高于强化学习代理，覆盖皮层及皮层下区域。
• 稳健性：置换控制实验验证结果可靠。

机制探索：表征 vs 推理

研究发现，脑活动对齐主要反映模型对游戏状态的上下文表征，而非下游规划或推理过程。这暗示LRMs以类似人类大脑的方式编码世界信息，是类人智能的关键。

理论意义与局限

理论意义：LRMs为人类认知提供新计算模型，可生成可测试假设推动认知科学发展。

局限：

• 任务范围限于简单视频游戏
• 神经对齐机制尚不明确
• 未充分考虑个体差异

未来方向：扩展到复杂现实任务、探索对齐机制、研究个体差异。

总结与展望

本研究通过三重评估框架，首次系统性证明LRMs在行为和神经层面与人类学习者的对齐。这为AI和认知科学开辟新方向：LRMs可能捕捉人类认知核心特征，成为连接人工智能与人类智能的桥梁。未来LRMs有望在模拟人类认知上展现更强能力。