SubFit：子模块级别的LLM压缩新范式，打破层级与连续性限制

SubFit是一种子模块级别的LLM压缩新范式，通过打破传统层级压缩的全层级粒度和连续选择约束，采用子模块级非连续选择与轻量化残差替换策略，在25%稀疏度下保留84.6%下游准确率，显著优于传统层级压缩方法，为大模型部署提供高效方案。

基本信息：

• 原作者团队（arXiv投稿）
• 来源：arXiv，原始标题《From Layers to Submodules: Rethinking Granularity in Replacement-Based LLM Compression》
• 发布时间：2026年6月1日
• 开源代码：https://github.com/eliacunegatti/SubFit
• 原始链接：http://arxiv.org/abs/2606.02559v1

大语言模型后训练压缩旨在降低推理成本，但现有基于替换的方法存在两个约束：全层级粒度（以整个Transformer层为单位）、连续选择（移除组件需连续分布）。

作者分析发现预训练Transformer冗余具有非均匀分布特性：

1. 空间分布不均：冗余分散在不同深度
2. 组件类型差异：Attention与FeedForward冗余特性不同
3. 非连续模式：可移除组件不必连续

传统层级压缩过于粗糙，错过细粒度优化机会。

SubFit（Submodule-level Fitted residual replacement）核心设计原则：

1. 子模块粒度：压缩单位细化到Attention和FeedForward子模块，独立评估重要性
2. 非连续选择：允许任意位置选择子模块压缩，精准定位冗余
3. 轻量化残差替换：用拟合残差旁路替换选中子模块（保留残差连接+轻量拟合模块+校准数据驱动）

实现流程：重要性评估→子模块选择→残差旁路设计→校准训练→迭代优化。

实验设置：覆盖10个LLM（5基础+5指令微调），12.5%-37.5%稀疏度，对比4个基线方法，评估困惑度与下游准确率。

关键结果：

• 25%稀疏度下：下游准确率保留84.6%（最强基线81.6%，提升3%），困惑度退化2.42x（基线4.34x，降低44%）
• 推理效率：提升推理速度，节省KV缓存内存，部署友好

消融实验：子模块粒度、非连续选择、残差替换均为关键贡献。

技术优势：

1. 细粒度优化：精准定位冗余，类型感知策略，保留关键能力
2. 后训练友好：无需重训练，少量校准数据，即插即用，渐进压缩

与其他方法对比：

• vs剪枝：无需微调保持性能
• vs量化：结构压缩（可互补）
• vs蒸馏：直接压缩原始模型，保留架构与权重

适用场景：资源受限部署（边缘/移动端）、高吞吐服务、长上下文应用、成本敏感应用

部署建议：

1. 从25%稀疏度开始调整
2. 准备目标领域少量校准数据（几千样本）
3. 下游任务验证性能
4. 可结合量化技术实现极致压缩

当前局限：

1. 极高稀疏度（>50%）性能下降明显
2. 对特定子模块敏感任务影响较大
3. 依赖校准数据质量

未来方向：

1. 动态压缩（输入自适应激活子模块）
2. 混合粒度压缩
3. 自适应稀疏度学习
4. 多任务联合压缩优化

SubFit打破传统层级与连续性约束，证明细粒度子模块压缩可显著提升性能，同时保持后训练便利性。在LLM部署成本受关注的今天，SubFit提供实用高效方案，未来将在降低部署门槛、扩大应用范围方面发挥重要作用。