FOEM：量化大语言模型的一阶误差补偿新方法

FOEM是AAAI 2026收录的针对量化大语言模型的一阶误差补偿新方法。该方法通过精确处理量化过程中的一阶误差，显著提升量化模型性能。核心关键词包括量化、大语言模型、模型压缩、误差补偿、INT4量化等。

随着大语言模型（LLMs）规模扩大，推理资源和存储成本指数级增长。模型量化技术通过将高精度浮点数转换为低精度整数（如INT8/INT4），减少存储和计算开销。但传统量化方法仅关注最小化整体误差幅度，忽略误差在不同层和位置的分布特性，某些误差对性能影响更显著。

FOEM项目核心观点为“一阶误差在量化大语言模型中起决定性作用”。一阶误差指量化过程中的线性误差项，对模型输出影响更直接显著。传统舍入/截断策略易产生系统性一阶误差偏移，累积传播导致性能下降，尤其影响注意力机制的精确计算。

FOEM提出完整的一阶误差补偿框架，包含三个关键步骤：1. 误差分解与分析：将量化误差拆分为一阶线性误差和高阶非线性误差，证明一阶误差的主导作用；2. 自适应补偿策略：根据模型层特性动态调整补偿强度，对敏感层（如注意力投影层）采用更强补偿；3. 端到端优化：在量化目标函数中加入一阶误差惩罚项，联合优化存储效率与推理精度。

FOEM在Llama系列、OPT系列等主流模型上验证：1. 精度提升显著：INT4量化下，困惑度平均提升超5个百分点，部分任务接近FP16基线；2. 泛化能力强：在不同架构和规模模型上稳定提升；3. 计算开销可控：额外开销几乎可忽略，实用价值高。

FOEM的技术意义包括：1. 降低部署门槛：提升低比特量化模型可用性，使消费级GPU或边缘设备运行大模型成为可能；2. 推动量化理论研究：阐明不同阶次误差影响差异，为后续算法设计提供新视角；3. 实际应用价值：适用于实时对话系统、移动端AI助手等高效推理场景。

FOEM通过聚焦一阶误差补偿，为量化LLM性能优化开辟新方向，获AAAI 2026收录认可。未来，FOEM有望与知识蒸馏、动态量化等技术结合，进一步推动大模型在资源受限环境中的实用化进程。