PEFT-Arena：从稳定性-可塑性视角重新审视参数高效微调

香港中文大学、西湖大学与马克斯·普朗克研究所联合提出PEFT-Arena基准测试，首次系统评估参数高效微调（PEFT）方法在目标任务适应与预训练能力保留之间的权衡，揭示正交微调（OFT）在稳定性-可塑性前沿上的优势。该研究填补了当前PEFT评估范式中忽视预训练能力保留的盲区，为理解PEFT方法提供新视角。

参数高效微调（PEFT）已成为大语言模型领域事实标准（如LoRA、Adapter、Prompt Tuning），承诺以极小计算开销适应下游任务。但当前评估仅关注目标任务准确率，忽视预训练能力保留——模型可能在适应新任务时遗忘通用能力（如指令遵循、常识推理）。这正是认知科学中的"稳定性-可塑性困境"：可塑性是学习新领域的能力，稳定性是保留预训练能力的程度。

PEFT-Arena是首个同时评估目标任务性能和通用能力保留的综合性基准，由香港中文大学、西湖大学和马克斯·普朗克智能系统研究所团队提出。基准涵盖：

• 模型家族：Qwen2.5-7B、Llama3.2-3B-Instruct
• 训练范式：监督微调（SFT）、基于GRPO的强化学习（RLVR）
• 任务领域：目标任务（数学推理、医学问答）；通用能力（IFEval指令遵循、NQ自然问答、BBH基准） 每个配置报告目标准确率与通用能力平均分。

实验揭示关键现象：

1. 全量微调代价：目标任务性能提升但通用能力暴跌（如Qwen数学SFT：目标准确率从35.30%→50.63%，通用能力从46.97%→34.22%）。
2. OFT优势：可比参数量下，OFT保持相近目标性能且通用能力损失小（Qwen数学SFT中OFT-block32：目标46.93%，通用能力仅降2.6个百分点）。
3. PiSSA的灾难性失败：部分配置下目标性能未提升却严重破坏通用能力（Llama数学SFT中PiSSA：通用能力从53.03%→9.74%）。
4. RLVR与SFT差异：RLVR在提升目标性能时保持相对完整的通用能力。

从两个几何视角解释PEFT方法差异：

• 权重空间结构：OFT通过正交子空间更新，避免干扰预训练知识的关键方向；低秩方法可能在关键奇异向量方向引入破坏性扰动。
• 激活空间稳定性：引入"能力条件漂移"指标衡量表示变化，发现遗忘程度与非等距表示失真密切相关——激活空间几何结构扭曲时通用能力损失最严重。

研究发现最终SFT检查点常"过冲"最优权衡点。通过在微调路径上插值，可找到目标任务与通用能力平衡更好的中间模型。基于此提出"路径回退"策略：不使用最终模型，而是在优化轨迹中找帕累托更优检查点。该策略无需增加训练成本，显著改善模型综合表现。

研究对AI实践的启示：

1. 评估PEFT需同时关注目标性能与通用能力保留，单一指标易误导。
2. OFT在稳定性-可塑性权衡上的优势，是资源受限场景的优选。
3. 路径回退策略为现有微调流程提供即插即用改进，提升基础模型复用效率。 团队已开源代码和基准数据，未来将进一步探索PEFT理论基础与模型可靠性、安全性课题。