SigmaScale：基于SVD低秩分解与学习缩放矩阵的大语言模型压缩方法

SigmaScale是一种针对大语言模型（LLM）的压缩方法，核心是通过学习辅助缩放矩阵优化基于截断奇异值分解（SVD）的压缩。它在激活感知压缩损失指导下优化行和列缩放变换，有效降低权重矩阵的内在秩，在保持模型性能的同时实现高效压缩。本文将从背景、方法、实验等方面展开讨论。

大型语言模型（如GPT-4、Llama3）参数规模达数百亿甚至数千亿，训练推理需巨大资源，模型压缩成为关键。基于SVD的低秩分解是重要压缩路线，但传统SVD方法存在局限：缺乏对模型权重结构的适应性、忽略激活信息、理论最优解可能偏离实际最优。

SigmaScale的核心创新包括：1. 用端到端学习的缩放矩阵代替解析推导，适应不同模型/层的权重分布；2. 引入激活感知压缩损失，考虑权重与激活的交互，优先保留影响大的成分；3. 学习行、列两组缩放向量，灵活调整权重矩阵尺度，降低有效内在秩。

学习到的缩放变换能降低权重矩阵的有效内在秩（从有效秩熵降低可观察），且有效秩越低，压缩性能损失越小。这种关系在不同模型和层中一致，说明压缩不仅减少参数，更需重组参数分布使关键信息集中。

实验在Llama3.1 8B Instruct和Qwen3-8B上进行，评估指标为困惑度和零样本基准测试。结果显示：SigmaScale的困惑度与SOTA SVD压缩方法相当；零样本任务表现竞争力强；特定任务上有明显优势。

SigmaScale的优势：1. 灵活性：通过学习适应不同模型架构；2. 激活感知：贴近实际推理场景，性能稳定；3. 可解释性：缩放矩阵提供权重重要性信息；4. 实用价值：帮助资源受限环境部署LLM，降低成本。

SigmaScale的局限：训练缩放矩阵需额外计算开销；压缩比受原始权重矩阵秩限制；未结合其他压缩技术。未来可探索高效优化算法、与量化/剪枝结合等方向。

SigmaScale通过学习缩放矩阵优化SVD压缩，是LLM压缩领域的重要进展。它结合激活感知损失和端到端学习，在保持性能的同时实现有效压缩，为降低LLM部署成本提供新选择，也为压缩理论研究提供新视角。