当大语言模型遇上算术编码：分布式GPU上的混合文本压缩新突破

SMU研究团队首次系统评估了BERT、RoBERTa、T5和Llama等Transformer模型与算术编码结合的混合文本压缩方案，在NVIDIA DGX SuperPOD上实现了可扩展的高效文本压缩。该研究填补了LLM+算术编码混合方案在分布式高性能计算环境下的基准测试空白，并开源了完整的可复现代码库，为神经网络压缩领域提供了宝贵的实证数据和工具。

文本数据呈爆炸式增长，高效存储和传输需求迫切。传统压缩算法（如gzip、bzip2）在处理复杂语言结构时力不从心，而大语言模型（LLM）能捕捉长距离依赖、理解上下文并准确预测词元概率分布。算术编码理论上可达信息熵极限，但性能依赖概率模型准确性。此前缺乏对LLM+算术编码混合方案在分布式HPC环境中表现及可扩展性的系统性研究。

微调阶段

使用enwiki9数据集对BERT、RoBERTa、T5-Small、Llama-3.2-3B四种Transformer模型微调，训练数据分词后转为64词元上下文窗口，自回归学习预测下一词元，支持单GPU到16GPU的分布式数据并行加速。

推理压缩阶段

新文本分词后输入微调后的LLM生成词元概率分布，转换为整数累积分布函数（CDF）供算术编码器使用，编码为压缩比特流；解压缩时用相同概率分布和比特流无损重建原始序列。

实验在NVIDIA DGX A100 SuperPOD上进行，含20节点，每节点8块A100 80GB GPU、128CPU核心，总计约1.64 PFLOPS算力和52.5TB存储，节点间200Gb/s InfiniBand互联。

评估指标涵盖：压缩率、每字符比特数（BPC）、每词元比特数（BPT）、交叉熵、困惑度、KL散度、重建准确率；以及系统级指标如wall-clock时间、内存占用、扩展效率。

1. 首个在顶级HPC平台规模化分析LLM+算术编码混合方案的公开工作，填补基准空白；
2. 提供完整可复现代码库（含四种模型的微调/推理脚本及SLURM配置），降低后续研究门槛；
3. 为大规模文本存档、基因组数据压缩、日志存储等场景提供新思路，可扩展至代码、结构化数据等其他模态。

项目代码已开源，采用conda环境管理依赖（通过environment.yml创建环境，安装PyTorch 2.10、Transformers 4.57等）。仓库按模型组织目录，含微调/推理代码及SBATCH脚本。

复现建议：下载enwiki9数据集，根据GPU数量选择SBATCH脚本提交任务，参考文档中的启动命令和路径配置。

SMU团队的工作结合学术研究与工程实践，融合Transformer模型与算术编码技术，在超算平台上系统评估，为神经网络压缩领域贡献实证数据和开源工具。随着LLM效率提升和硬件算力增长，基于神经网络的压缩方法有望从原型走向实际部署，为数据密集型应用带来新可能。