正文

通过 MLP 块替换压缩大语言模型：一种模块级知识蒸馏方法

布拉迪斯拉发夸美纽斯大学的一篇毕业论文，探索通过将 Transformer 中的 MLP 块替换为更小的近似网络来实现模型压缩，为 LLM 压缩提供了不同于量化和剪枝的新思路。

LLM模型压缩MLPTransformer知识蒸馏函数逼近模型轻量化边缘部署神经网络架构毕业论文

发布时间 2026/04/01 06:42最近活动 2026/04/01 06:57预计阅读 2 分钟

章节 01

【主楼/导读】MLP块替换：LLM压缩的模块级知识蒸馏新方法

布拉迪斯拉发夸美纽斯大学的一篇毕业论文提出了一种不同于量化和剪枝的LLM压缩新思路——将Transformer中的MLP块视为独立函数，用更小的近似网络逐个替换。这种模块级知识蒸馏方法为模型压缩开辟了新可能性，无需端到端重训练整个模型，具有模块化、可控性和可解释性等优势。

章节 02

现代Transformer架构的LLM中，MLP块占约80%总参数量，是内存存储和推理延迟的主要瓶颈。传统压缩技术如量化（降低精度）、结构化/非结构化剪枝（移除神经元或稀疏化权重）均在保持原始结构前提下减少参数或精度，而该论文提出改变结构本身，用小模块替换MLP块。

章节 03

该方法的关键是将每个MLP块视为独立函数逼近问题，步骤包括：1.冻结预训练模型的注意力层、归一化层等；2.采集原始MLP块的输入-输出对作为训练数据；3.训练更小的替代网络（如浅层MLP、线性层）以逼近原始输出；4.逐块替换MLP块，保持整体架构不变。

章节 04

候选替代架构包括：1.浅层MLP（单层或更窄两层）；2.纯线性投影（低秩近似）；3.混合结构（如注意力增强MLP、深度可分离卷积、MoE风格稀疏激活）。训练策略采用最小化替代网络与原始MLP块输出的MSE或余弦相似度损失，训练数据通过在代表性样本上一次前向传播采集。

章节 05

评估维度包括压缩率与性能权衡（参数量压缩比、推理速度、下游任务性能）、逐层敏感度分析（早期vs后期层的压缩容忍度、关键块识别）、组合优化问题（贪心策略、启发式配置、自动搜索最优组合）。挑战在于替代网络设计和块间依赖处理。

章节 06

方法	压缩粒度	是否需要重训练	对原始结构的改变	主要挑战
量化	权重级	否（PTQ）/是（QAT）	无	精度损失、校准敏感度
剪枝	神经元/层	通常需要	结构改变	稀疏计算效率、不规则内存访问
MLP替换	模块级	部分（仅替代网络）	结构替换	替代网络设计、块间依赖
MLP替换的优势是结构化可解释，产生标准密集矩阵运算，无需专用硬件支持。

章节 07

若有效，该方法可能带来：1.渐进式压缩（动态选择压缩级别）；2.边缘设备部署（更激进压缩率）；3.与NAS结合（自动发现最优架构）；4.与量化/剪枝叠加（更高压缩率）。

章节 08

该方法从函数逼近角度重新审视LLM压缩，是量化和剪枝的补充技术。项目托管在GitHub，包含configs、docs、notebooks、scripts等组件，处于活跃开发阶段，适合研究者跟踪。