Latent Circuit Disruption：大语言模型鲁棒性遗忘学习新方法

本文介绍了一种名为Latent Circuit Disruption（LCD）的模型遗忘技术，核心是通过精准定位并修改大语言模型中的特定知识回路，实现敏感信息的安全删除，同时保持模型其他能力不受影响。相比传统方法，LCD在遗忘彻底性、副作用控制和鲁棒性方面具有显著优势，为大语言模型的隐私保护与可控性提供了新方向。

大语言模型训练过程中会记忆大量数据，包括隐私、版权或有害内容，需高效移除特定知识。传统重新训练成本高，现有模型遗忘方法面临四大挑战：

1. 遗忘不彻底：简单微调易通过提示工程恢复目标知识；
2. 副作用严重：损害模型通用能力；
3. 鲁棒性不足：对攻击和提取技术抵抗力弱；
4. 可扩展性差：难以适应大规模模型。

LCD基于关键洞察：知识在Transformer模型中以特定计算回路（注意力头与FFN神经元组合）形式存在。与传统参数层面粗粒度修改不同，LCD在回路层面精准定位和干扰，实现：

• 精准性：仅影响目标知识回路；
• 最小副作用：保留其他回路功能；
• 鲁棒性：从根本破坏知识提取路径。

回路发现与定位

1. 注意力头分析：通过因果干预（激活补丁、路径追踪）识别对目标知识有贡献的注意力头（归因分析、对比激活差异、聚类协同头）；
2. FFN神经元定位：检测存储特定事实的神经元，利用稀疏激活特性和层间关联定位相关神经元。

潜在空间干扰

1. 注意力模式修改：权重分配调整、选择性掩蔽、结构化剪枝；
2. 神经元激活抑制：阈值调整、激活方向扰动、正交子空间投影。

优化目标

采用多目标优化： L_total = L_forget + λ*L_retain + μ*L_robust

• L_forget：最大化目标知识困惑度；
• L_retain：最小化保留数据集性能下降；
• L_robust：增强对抗攻击抵抗力。

评测场景

覆盖事实遗忘、版权文本遗忘、有害内容遗忘、类别遗忘四大场景。

评测指标

遗忘成功率、保留性能（困惑度/准确率）、成员推理攻击抵抗力、模型提取抵抗力。

主要结果

• 遗忘成功率接近100%；
• 通用基准性能下降控制在2-5%；
• 对提示注入、微调恢复等攻击抵抗力更强；
• 大模型上保持稳定效果。

方法类型	代表工作	优点	缺点	LCD改进
梯度上升	GradAscent	简单直接	副作用大，遗忘不彻底	回路级精准定位
对比学习	Contrastive	保留效果好	计算开销大	潜在空间高效干扰
知识蒸馏	Knowledge Distillation	可解释性强	需要教师模型	无需额外模型
参数编辑	ROME, MEMIT	单点编辑有效	批量编辑冲突	支持批量回路编辑
影响函数	Influence Functions	理论完备	计算不可行	近似高效实现

隐私合规

• 响应GDPR被遗忘权；
• 移除个人身份信息（PII）；
• 保护敏感医疗数据。

版权与法律

• 移除受版权保护的训练内容影响；
• 处理数据授权到期；
• 降低诉讼风险。

安全与对齐

• 移除生成有害内容的能力；
• 缓解偏见；
• 纠正事实错误。

当前局限

• 回路识别依赖启发式，易遗漏/误判；
• 多知识遗忘存在干扰；
• 计算成本较高；
• 跨模型架构泛化性待验证。

未来方向

• 开发自动回路发现算法；
• 支持增量遗忘；
• 提供遗忘效果的数学证明；
• 探索联邦学习场景下的分布式遗忘。