TernaryLLM：基于加法稀疏GEMM的边缘设备三值大语言模型推理加速方案\n\n## 背景与挑战\n\n大型语言模型(LLM)的部署正面临严峻的计算资源瓶颈。随着模型规模不断膨胀，传统的32位浮点运算需求使得在边缘设备上运行LLM变得异常困难。三值量化(Ternary Quantization)作为一种激进的压缩策略，将权重限制在{-1, 0, +1}三个离散值，仅用2位即可表示每个权重，理论上可实现16倍存储压缩。然而，这一方案在实际落地中面临三大技术障碍。\n\n首先是硬件支持缺失。现有的CPU和GPU架构并未原生支持2位运算单元，PyTorch和CUDA等主流框架也缺乏针对三值权重的专用计算内核。这意味着即便完成了量化，也无法充分利用硬件加速能力。\n\n其次是稀疏存储低效。三值量化天然产生大量零值权重，稀疏度可达50%至90%，但传统的CSR(Compressed Sparse Row)或CSC(Compressed Sparse Column)格式并未针对三值特性优化，额外的索引存储反而抵消了量化带来的收益。\n\n最后是稀疏结构利用不足。现有的三值优化方法如BitNet、RSR和RSR++虽然实现了量化，但未能有效捕捉和利用稀疏结构，导致计算效率仍有较大提升空间。\n\n## 项目概述\n\nTernaryLLM是由苏黎世联邦理工学院FPGA系统实验室开源的综合性解决方案，针对上述三大挑战分别提出了创新算法和硬件加速方案。该项目包含三个核心子项目，分别面向不同的部署场景和优化目标。\n\nSSR(Sparse Segment Reduction)项目专注于解决稀疏结构利用问题，通过稀疏段归约算法显著加速三值GEMM(通用矩阵乘法)运算。该算法识别并合并连续的零值段，减少无效计算，在保持模型精度的同时大幅提升推理速度。\n\n面向CPU和GPU的高效加法稀疏GEMM项目则同时解决硬件支持不足和稀疏存储低效两大问题。该方法将传统的乘法-累加运算转换为纯加法运算，充分利用三值权重仅含{-1, 0, +1}的特性，避免了昂贵的乘法器使用，同时设计了专门针对三值数据的紧凑存储格式。\n\nFPGA加速器项目则探索了专用硬件架构的可能性，通过定制化电路设计充分发挥三值量化的潜力，为资源受限的边缘设备提供了高能效的推理方案。\n\n## 核心技术机制\n\n### 三值量化的数学基础\n\n三值量化的核心思想是将浮点权重$W$映射到离散集合${-1, 0, +1}$。形式化表示为：\n\n$$W_{ternary} = \text{round}(W / \Delta) \cdot \Delta$$\n\n其中$\Delta$是可学习的缩放因子，round函数将值限制在{-1, 0, +1}。这种极端量化虽然损失了部分精度，但研究表明，经过适当训练的模型可以适应这种表示，尤其在注意力机制和前馈网络中表现出惊人的鲁棒性。\n\n### 加法稀疏GEMM\n\n传统GEMM运算的复杂度为$O(n^3)$， dominated by乘法操作。在三值场景中，由于权重仅为-1、0或+1，矩阵乘法可简化为：\n\n- 当权重为0时：跳过计算\n- 当权重为+1时：直接累加输入值\n- 当权重为-1时：累加输入值的负数\n\n这一观察使得乘法操作可被完全消除，仅需加法即可完成推理。更进一步，通过识别连续的零值段(稀疏段)，SSR算法可以批量跳过这些区域，大幅减少内存访问和计算量。\n\n### 紧凑存储格式\n\n针对三值数据的特性，项目设计了专门的存储格式。与传统稀疏矩阵存储需要32位索引不同，三值矩阵可利用位级打包，将多个权重压缩到一个字节中，同时通过段长度编码高效表示稀疏结构，避免了传统格式的索引开销。\n\n## 实验验证与性能表现\n\n项目已在DATE 2026和ACM TECS等顶级会议和期刊发表相关研究成果。实验表明，在边缘设备上，TernaryLLM的加速方案相比传统浮点推理可实现数倍甚至数量级的性能提升，同时保持可接受的精度损失。\n\n具体而言，SSR算法在三值GEMM运算中展现出显著的加速比，尤其在稀疏度较高的层中效果更为明显。加法稀疏GEMM方案在CPU和GPU上均取得了良好的加速效果，证明了该方法的跨平台适用性。FPGA加速器则在能效比方面展现出独特优势，为电池供电的边缘设备提供了可行方案。\n\n## 实际应用价值\n\nTernaryLLM的发布对边缘AI部署具有重要指导意义。随着模型规模持续增长，云端推理的延迟和隐私问题日益突出，边缘部署成为必然趋势。然而，边缘设备的计算和存储资源受限，传统量化方案难以满足实时性要求。\n\n该项目的三值量化方案提供了一条激进但可行的路径。虽然2位量化听起来损失巨大，但通过精心设计的训练和推理流程，实际精度损失可控制在可接受范围内。对于对延迟敏感但可容忍轻微精度下降的应用场景，如实时对话、边缘搜索和本地助手，TernaryLLM提供了极具竞争力的解决方案。\n\n## 总结与展望\n\nTernaryLLM通过算法创新、代码优化和硬件加速的三管齐下策略，系统性地解决了三值LLM推理的关键瓶颈。项目不仅开源了完整的实现代码，还提供了详细的实验设置说明，为研究者和工程师复现和扩展工作提供了便利。\n\n未来，随着专用AI芯片的发展，三值量化有望获得更广泛的硬件支持。TernaryLLM的探索为这一方向奠定了坚实基础，其稀疏段归约、加法稀疏GEMM等技术思路也可迁移到其他极端量化场景，推动LLM在更广泛设备上的高效部署。