指令感知剪枝：让大语言模型按需激活参数

核心观点

指令感知剪枝（IFPruning）是一种动态剪枝方法，通过小型预测器网络根据输入指令决定激活哪些神经元，实现50%参数剪枝的同时保持模型性能，为边缘设备部署大模型提供新思路。

原作者与来源

• 原作者/维护者：wonjin0403
• 来源平台：GitHub
• 原始标题：IFPruning-Implementation
• 原始链接：https://github.com/wonjin0403/IFPruning-Implementation
• 发布时间：2026年5月27日

传统模型剪枝采用静态策略，存在以下缺陷：

1. 忽略输入异构性：简单问答与复杂推理需求差异大
2. 性能效率难平衡：过度剪枝损害性能，保守剪枝浪费资源
3. 缺乏适应性：无法实时调整计算资源

理想策略应动态、输入感知：简单输入用更少参数，复杂输入保留更多能力。

IFPruning核心包含三个组件：

1. 待剪枝大模型：以Qwen2.5-3B-Instruct为例，目标剪枝至50%活跃参数
2. 稀疏度预测器：轻量级模型（如SmolLM2-360M）接收指令，输出FFN层神经元掩码
3. 掩码头网络：两层MLP将预测器表示转换为top-k选择决策（每层保留50%神经元）

阶段一：持续预训练

• 语料：SlimPajama
• 数据组织：（当前块，下一词块）对
• 训练细节：bf16混合精度、4卡DDP、主模型lr=1e-6、预测器lr=1e-4、禁用梯度检查点

阶段二：指令微调（SFT）

• 数据集：Tulu-v2 + FLAN-V2
• 模板：Qwen2.5聊天模板
• 损失计算：仅助手回复token
• 目标：对齐对话场景

1. 双tokenizer处理：主模型与预测器使用不同tokenizer，预处理时分别编码并保持语义对齐
2. 通用模型支持：兼容Llama系列、Qwen2系列，通过配置灵活切换
3. 完整评估体系：集成lm-evaluation-harness，支持MMLU、HellaSwag等任务，对比稠密模型、随机剪枝等基线

1. 学习率敏感性：联合训练对学习率组合敏感，过高预测器lr易导致掩码崩溃
2. 冻结主模型优势：冻结主模型（仅训练预测器和掩码头）长时间训练效果更好，避免表示漂移
3. 掩码有效性：不同输入激活不同神经元子集，验证动态剪枝假设

1. 边缘设备部署：剪枝50%参数降低推理成本，助力资源受限设备运行大模型
2. 自适应计算预算：可扩展为调节剪枝率，智能分配资源
3. 研究启示：小规模训练易出现掩码崩溃，需更大数据和稳定策略

指令感知剪枝代表模型压缩从静态到动态、通用到自适应的重要方向。虽面临训练稳定性挑战，但为高效大模型部署开辟新可能，输入感知的动态计算方法将更受关注。