CiPO：通过迭代偏好优化实现大型推理模型的反事实遗忘学习

本文提出CiPO（Counterfactual Unlearning through iterative Preference Optimization）框架，通过生成反事实推理轨迹进行迭代偏好优化，在完全移除目标知识的同时保留模型推理能力，解决了大型推理模型（LRMs）机器遗忘的两难困境。

机器遗忘学习的兴起

近年来，机器遗忘学习成为AI热点，目标是选择性移除模型中不希望保留的信息（隐私、版权、过时知识等），无需重新训练。

LRM遗忘的独特挑战

LRMs强调长链条思维（CoT）推理，但现有方法存在两难：

1. 表面遗忘：仅关注最终输出，忽略CoT，敏感信息仍存在于推理痕迹中；
2. 过度遗忘：大规模参数更新损害通用推理能力。

平衡彻底遗忘与保留推理能力是核心挑战。

核心概念：反事实推理轨迹

针对目标知识，引导模型生成逻辑有效但结论不同的推理轨迹，避开目标知识（如遗忘"巴黎是法国首都"时，生成不确定推理）。

迭代偏好优化步骤

1. 生成反事实推理；
2. 构建偏好对（反事实为偏好样本，含目标知识的推理为非偏好样本）；
3. 用DPO调整模型倾向反事实推理；
4. 迭代更新偏好数据，确保遗忘彻底性。

反事实推理生成策略

• 知识边界提示：告知模型某些信息不在知识范围内；
• 替代路径探索：鼓励不依赖目标知识的解决路径；
• 逻辑一致性约束：确保推理自洽。

动态偏好数据更新

定期采样当前模型输出，更新非偏好样本，防止过早收敛，保证遗忘彻底性。

彻底遗忘验证

CiPO完全移除目标知识（最终答案+CoT推理均无目标信息），满足隐私合规要求。

推理能力保持

在标准推理基准上，CiPO处理后的模型性能与原始模型差距显著小于其他方法。

基线对比

• 梯度上升法：遗忘彻底但损害推理；
• 知识蒸馏法：保留推理但遗忘不彻底；
• CiPO：在两者间取得最佳平衡。

1. 隐私合规：响应用户"被遗忘权"，无需重新训练；
2. 版权保护：移除特定版权内容；
3. 事实更新：替换过时知识；
4. 有害内容过滤：移除不当内容。

局限

• 计算成本高（多轮训练）；
• 复杂知识的反事实推理质量待提升；
• 多知识遗忘的稳定性问题；
• 遗忘机制的可解释性不足。

未来方向

探索高效优化策略、提升反事实质量、解决多知识遗忘、增强可解释性。

CiPO通过反事实推理与迭代偏好优化，解决了LRM遗忘的两难问题，为AI系统的可控性、安全性和合规性提供了新路径，是机器遗忘学习领域的重要进展。