NeFT：聚焦神经元级别的LLM微调新方法

NeFT提出了一种神经元级别的监督微调方法，通过精准定位并微调与目标任务最相关的神经元子集，而非全参数更新，实现更高效的大语言模型微调，在参数效率与模型性能之间找到新的平衡点，适用于多种实际应用场景。

大语言模型传统全参数微调计算成本高、显存需求大；参数高效微调（如LoRA、Adapter）常牺牲性能。近年来发现LLM内部存在"知识神经元"，启发NeFT提出神经元级微调范式，聚焦特定神经元更新。

核心思想为神经元级微调粒度，流程分三阶段：1.神经元重要性评估（启发式/梯度方法，计算激活值与损失关系）；2.选择策略（阈值/Top-K，更新5%-20%神经元）；3.参数更新（选中神经元完整更新，未选中冻结预训练权重）。

1.更高参数效率：避免低秩近似损失，相同参数预算下优于LoRA等；2.更好可解释性：可分析任务相关神经元激活理解决策；3.灵活粒度控制：1%-50%微调粒度可选；4.跨任务迁移：部分神经元在相关任务中共享。

GLUE基准用10%参数达全微调95%性能，优于LoRA；指令微调表现更好；持续学习抗遗忘；训练显存减少60%-80%，推理速度与原模型一致。

适用于边缘设备部署、多租户服务、持续学习系统、快速原型开发等场景。

局限：神经元评估有额外开销，目前仅针对FFN层。未来方向：高效评估算法、注意力层研究、鲁棒性关系探索、多模态扩展。

NeFT代表LLM微调向细粒度精准方向发展趋势，平衡参数效率与性能，为降低微调成本同时保持质量提供新选择。