NeFT：面向大语言模型的神经元级监督微调新方法

NeFT（Neuron-level Fine-Tuning）是COLING 2025发表的面向大语言模型的神经元级监督微调框架。它针对现有参数高效微调（PEFT）方法多在层级别或矩阵级别操作的局限，通过识别和选择性更新任务相关神经元，实现更精准、高效的模型适配，在保持通用能力的同时降低微调成本，为大模型低成本微调开辟新路径。

大语言模型参数规模增长导致全参数微调成本难以承受，PEFT技术（LoRA、Adapter等）应运而生，但现有PEFT多在层/矩阵级操作，忽略神经元细粒度特性。研究发现大模型存在“专家神经元”，特定神经元对特定任务/知识高度敏感，NeFT基于此将微调粒度推进到单个神经元。

核心假设

任务适配只需更新与目标任务相关的神经元子集

神经元专业化分工

• 语法神经元：敏感于句法结构
• 知识神经元：存储领域事实
• 推理神经元：参与逻辑推导
• 安全神经元：关联内容过滤与伦理对齐

神经元重要性评估

1. 激活追踪：记录任务数据激活模式
2. 梯度归因：计算对损失的梯度贡献
3. 干预实验：掩蔽神经元观察性能影响 综合筛选Top-K重要神经元。

选择性神经元更新

构建稀疏掩码仅更新选中神经元： W_new = W_old + M ⊙ ΔW（M为二进制掩码），实验显示更新5-10%神经元可达LoRA相当或更好性能

跨层关联建模

引入神经元图神经网络：神经元为节点，共激活模式/连接权重为边，图卷积传播更新信号

动态调度

• 早期：宽范围神经元激活快速适应
• 中期：聚焦高重要性神经元精细化调整
• 后期：正则化防止过拟合。

两阶段训练

1. 神经元识别：少量任务数据（1-5%训练集）分析生成重要性排序
2. 选择性微调：基于掩码在完整数据集上训练，仅选中神经元更新

技术融合

• NeFT+LoRA：低秩更新基础上限制神经元
• NeFT+量化：非激活神经元低精度存储
• NeFT+蒸馏：掩码指导知识传递。

基准测试

方法	参数比例	平均性能	通用能力保持
Full FT	100%	85.2%	62.1%
LoRA	0.8%	83.7%	78.4%
Adapter	1.2%	82.9%	80.2%
NeFT	0.5%	84.5%	85.7%
NeFT以最低参数比例接近全FT性能，通用能力保持最优

效率优势

• 显存减少40-50%
• 反向传播计算量降60%
• 推理无额外开销。

• 多任务服务：共享基础模型，每个任务独立掩码，显存降一个数量级
• 隐私领域：稀疏更新减少梯度上传，支持联邦学习
• 模型安全：监控“安全神经元”实现细粒度对齐。

总结

NeFT推动微调向细粒度演进，平衡效率、性能与通用性

局限

1. 神经元识别成本高
2. 掩码稳定性待提升
3. 神经元编码可解释性不足

未来

• 自动神经元架构搜索
• 持续学习与记忆
• 跨模型神经元对齐
• 专用稀疏更新加速器。