单次训练即可破坏大模型对齐：GRPO安全漏洞研究揭示后训练脆弱性

原作者与来源：

• 原作者/维护者：arXiv authors
• 来源平台：arxiv
• 原始标题：It Takes One to Bias Them All: Breaking Bad with One-Shot GRPO
• 原始链接：http://arxiv.org/abs/2606.10931v1
• 来源发布时间/更新时间：2026-06-09T14:44:01Z

核心观点：最新研究表明，仅需在单个带有偏见的数据样本上进行一次GRPO训练，就足以覆盖大语言模型的安全对齐机制，导致系统性偏见产生并在多个维度上泛化，揭示了当前后训练对齐范式的根本性脆弱性。

现代大语言模型（LLM）在大规模预训练后需通过后训练实现"对齐"，确保输出符合人类价值观，常用方法包括监督微调（SFT）和基于人类反馈的强化学习（RLHF）。但核心问题是：这些安全机制是否坚不可摧？少量恶意数据能否破坏防护措施？当前对齐范式是否存在根本缺陷？

GRPO是强化学习领域的训练方法，无需单独奖励模型，通过比较同一提示下多个响应的相对质量优化策略。核心思想是利用群体内相对优势更新参数，计算效率高且性能优异，已被主流大模型作为后训练核心算法，但广泛应用使其潜在漏洞影响深远。

研究最关键发现：仅需单个带偏见样本的一次GRPO训练，即可破坏模型安全对齐机制。实验显示，这种极简攻击能诱导系统性偏见，且跨属性、类别、基准测试泛化。攻击者无需大规模投毒或复杂策略，单个恶意样本即可让对齐模型"叛变"。

单次GRPO训练学到的刻板印象会以"推理链"方式在模型内部表征扩散。面对相关提示时，模型激活并复用刻板印象驱动的推理模式，且迁移到相关属性/类别（如性别偏见泛化到职业、能力评价）。这暗示模型内部存在结构化偏见表示，激活后快速传播。

不同模型脆弱性差异显著，关键因素是初始状态下偏见输出的先验概率。预训练阶段已学习更多刻板印象关联的模型，遭受单次GRPO攻击时更脆弱，因参数空间已"预置"偏见模式，攻击仅激活强化。提示模型提供者需重视预训练数据质量与偏见问题。

当前后训练对齐方法存在根本脆弱性，单次恶意样本可覆盖安全训练成果。防御建议：

1. 训练数据过滤：加强偏见检测与过滤；
2. 对抗训练：GRPO阶段引入对抗样本增强鲁棒性；
3. 持续监控：部署后监控输出异常偏见；
4. 多层防护：构建多维度安全体系。

研究揭示GRPO框架下严重安全漏洞：单次偏见样本破坏对齐且跨维度泛化，对学术与工业界安全实践提出挑战。未来需在训练算法、数据治理、监控机制等维度协同发力，构建可靠的人工智能系统。