PocketLLM：通过元网络实现大语言模型的极限压缩

PocketLLM是由Ye Tian、Chengcheng Wang等作者提出的基于元网络的大模型压缩方法，通过编码器-码本-解码器架构将LLM权重投影到离散潜空间，实现10倍压缩率下几乎无损的性能。该成果已被AAAI 2026接收，项目开源于GitHub，为边缘设备部署大模型提供可行方案。原来源为GitHub/arXiv，论文链接：https://arxiv.org/abs/2511.17637，发布时间为2025年11月（arXiv投稿）。

随着LLM参数规模膨胀（数十亿到数千亿），存储和传输挑战凸显。例如70亿参数模型以16位存储需14GB，边缘设备难以承受。传统量化、剪枝方法在极端压缩比下性能损失明显：量化受精度限制，剪枝破坏结构知识，因此需创新高压缩比且保性能的方法。

PocketLLM采用潜空间压缩范式，核心为三组件：1.编码器：将权重划分为小块，通过轻量网络投影为潜向量；2.紧凑码本：存储代表性向量，用索引替代浮点权重（如1024条目码本仅需10位索引）；3.解码器：推理时将索引映射回权重空间，轻量低开销。

在Llama2-7B模型上，PocketLLM实现10倍压缩，下游任务准确率下降微乎其微。对比传统INT4量化，同等压缩比下性能退化更优。WikiText-2和C4数据集上困惑度保持一致，lm-evaluation-harness验证下游任务有效性。

PocketLLM为边缘部署带来：1.存储效率：7B模型从14GB降至1.4GB，适配主流手机；2.传输便利：减小体积降低带宽需求；3.隐私保护：本地部署无需上传数据；4.开源支持：GitHub提供完整脚本便于复现扩展。

当前局限：未涉及激活值和KV缓存压缩。未来方向：探索与专家混合（MoE）架构结合，进一步提升大模型可部署性。