大型语言模型在非平稳环境中的适应性研究：逆转学习实验揭示的刚性行为\n\n## 研究背景：非平稳环境中的决策挑战\n\n现实世界中的决策环境往往是动态变化的。今天的最优选择，明天可能因为环境条件的改变而变成次优甚至错误的选择。这种非平稳性（non-stationarity）对智能系统的适应能力提出了严峻考验。人类在面对环境变化时，能够灵活调整策略；但人工智能系统，特别是大型语言模型（LLMs），在这种动态环境中的表现如何？\n\n逆转学习（Reversal Learning）是认知科学中研究适应性决策的经典范式。在这个任务中，参与者需要学会在多个选项中选择奖励概率更高的那个，而当奖励规则突然逆转时，他们必须快速调整策略。这种范式特别适合评估智能体在环境变化时的灵活性和学习能力。\n\n## 实验设计：多模型对比与人类基准\n\n本研究设计了一个双选项概率性逆转学习任务，包含三个潜在状态和两种触发切换的机制：基于表现标准的切换和基于超时的切换。研究者比较了确定性固定转换周期和随机转换调度两种条件，后者增加了环境的波动性。\n\n被测试的模型包括当前主流的三个大型语言模型：\n- DeepSeek-V3.2\n- Gemini-3\n- GPT-5.2\n\n同时，人类数据作为行为参考基准，用于评估LLMs的决策行为与人类认知模式的差异。\n\n## 核心发现：不对称的证据使用与适应性刚性\n\n### 赢留输换的不对称性\n\n实验结果显示了一个引人注目的模式：在所有被测模型中，"赢留"（win-stay，即选择获得奖励后继续选择同一选项）的行为接近天花板水平，而"输换"（lose-shift，即选择未获得奖励后切换到另一选项）的行为则被显著削弱。\n\n这种不对称性揭示了LLMs在使用正面证据与负面证据时存在系统性偏差。模型能够很好地利用成功经验，但对失败经验的反应却相对迟钝。这与人类行为形成对比——人类通常对损失更为敏感，这种损失厌恶在进化上具有适应性意义。\n\n### 模型间的差异：从极端固执到相对灵活\n\n在三个模型中，DeepSeek-V3.2表现出最为极端的行为模式：在逆转发生后表现出严重的固执（perseveration），即持续选择之前 rewarded 的选项，同时整体的学习获取能力也较弱。相比之下，Gemini-3和GPT-5.2的适应速度更快，尽管它们在对损失的敏感度上仍然低于人类水平。\n\n这一发现提示，不同架构和训练方法可能导致模型在动态环境中的行为特征存在本质差异。\n\n### 高回报与刚性适应的共存\n\n一个有趣的发现是，随机转换增加了LLMs在逆转后的固执行为，但并未一致性地降低总体获胜次数。这表明，高聚合回报与刚性适应可以共存——模型可能通过其他策略（如利用短期波动）来维持整体表现，而非真正学会灵活适应环境变化。\n\n## 机制解析：层次化强化学习建模\n\n为了深入理解这些行为背后的机制，研究者使用层次化强化学习（Hierarchical RL）模型对数据进行了拟合分析。分析揭示了导致适应性刚性的三种可分离机制：\n\n### 弱损失学习\n\n模型对负面反馈的学习率较低，导致它们无法快速从错误中吸取教训。这种机制直接解释了"输换"行为的衰减。\n\n### 策略确定性膨胀\n\n模型的策略分布过于集中，缺乏足够的探索性。即使面对负面反馈，模型也因为高确定性而难以改变行为模式。\n\n### 反事实抑制导致的价值极化\n\n模型对未选择选项的价值估计存在偏差，通过抑制反事实思考（即"如果我当时选择另一个选项会怎样"）而导致价值判断的极化。\n\n这三种机制可以独立或共同作用，导致观察到的刚性适应行为。\n\n## 研究意义与未来方向\n\n### 对LLM评估的启示\n\n这项研究强调了在评估大型语言模型时，需要特别关注其在非平稳环境中的表现。传统的静态基准测试可能无法捕捉模型在动态变化中的适应性弱点。研究者建议开发逆转敏感的诊断工具和波动性感知的评估模型，以更全面地测试LLMs的决策能力。\n\n### 对AI安全的影响\n\n如果AI系统在环境变化时表现出过度固执，这在实际应用中可能带来风险。例如，在自动驾驶、医疗诊断或金融交易等场景中，系统需要能够快速识别环境变化并调整策略。理解并改善LLMs的适应性刚性，对于构建更可靠的AI系统具有重要意义。\n\n### 未来研究方向\n\n这项研究为后续工作开辟了多个方向：探索改善模型损失敏感度的训练方法、设计专门的适应性增强技术、以及将逆转学习范式扩展到更复杂的多步骤决策任务中。\n\n## 结论\n\n通过系统的逆转学习实验，这项研究揭示了主流大型语言模型在非平稳环境中表现出的适应性刚性。尽管这些模型在静态任务中表现出色，但它们在使用负面反馈、快速调整策略方面存在明显局限。这一发现不仅增进了我们对LLMs决策机制的理解，也为未来开发更具适应性的AI系统提供了重要参考。