MPU框架：实现大语言模型隐私保护的知识遗忘

本文介绍MPU（Multiple Perturbed Copies Unlearning）框架，这是一种算法无关的隐私保护多重扰动副本遗忘框架，旨在解决大语言模型知识遗忘中的双重非披露约束（服务器不愿共享原始模型参数，客户端不愿暴露遗忘数据集）。通过服务器端预处理（生成扰动副本）和后处理（聚合去噪）模块，MPU在保护模型参数和遗忘数据隐私的同时，实现高效的知识遗忘。

大语言模型的知识遗忘面临根本性隐私难题：传统机器遗忘方法常要求服务器共享模型参数或客户端暴露遗忘数据集，这在实际应用中不可接受。服务器顾虑原始参数泄露（核心知识产权风险），客户端顾虑遗忘数据泄露（敏感信息或商业机密），这种双重非披露约束导致现有方法难以部署。MPU框架正是为解决此困境设计。

MPU是算法无关的隐私保护框架，核心架构含两个服务器端模块：

预处理模块

生成多个扰动副本，特性包括：参数扰动（注入噪声，单个副本无法还原原模型）、重新参数化（功能等价原模型）、多副本分发。

后处理模块

客户端返回更新后模型后，执行逆重新参数化、谐波去噪、安全聚合。

此外，MPU具有算法无关性，客户端可本地使用NPO、DPO、GradAscent等多种遗忘算法。技术实现上，项目用Python3.11+开发，含src/train.py（主入口）、src/eval.py（评估）、configs（Hydra配置）等组件，MIT许可证开源。

MPU在TOFU、MUSE、WMDP等标准基准验证，实验配置由Hydra管理，可定制超参数（副本数量PUM_M_LIST、噪声尺度PUM_KAPPA、重新参数化开关）。结果表明，MPU在保持模型性能的同时，有效实现隐私保护的知识遗忘。

MPU框架的意义包括：

1. 隐私合规：助力满足GDPR等法规的“被遗忘权”要求；
2. 知识产权保护：不泄露模型细节即可完成知识更新；
3. 多方协作：支持不可信多方环境下的安全模型更新；
4. 算法兼容性：与现有遗忘算法无缝集成，降低采用门槛。 随着LLM在敏感领域应用增多，MPU将成为模型治理重要工具。

MPU框架通过多重扰动副本机制，成功解决大语言模型知识遗忘的隐私困境。它在保护服务器模型参数和客户端遗忘数据隐私的同时，保持了遗忘效果与模型性能，为构建更安全、可信的人工智能系统提供重要技术基础。