Mix-Quant：面向Agentic LLM的分阶段混合量化推理框架

Mix-Quant是面向Agentic LLM的分阶段混合量化推理框架，针对Agentic工作流长上下文、多轮交互导致的预填充阶段瓶颈，提出阶段感知策略：预填充阶段用FP4（NVFP4）量化加速计算，解码阶段保持BF16精度，实现最高3倍预填充加速，同时几乎不损失任务性能，为LLM智能体推理优化提供新范式。

Agentic LLM通过规划、工具使用等解决复杂任务，但面临长上下文维护、多轮交互、输入侧开销大等挑战，预填充阶段（处理整个输入上下文）成为关键瓶颈。量化是加速推理的常用手段，但全局FP4量化会导致显著性能损失；而研究发现预填充阶段存在量化冗余，对精度敏感度较低，可承受更激进量化。

Mix-Quant采用阶段感知混合量化：1.预填充阶段用NVFP4量化，利用NVIDIA硬件原生支持，加速矩阵乘法并减少内存带宽需求；2.解码阶段保持BF16精度，确保token生成准确性，避免语义漂移；3.阶段解耦实现算法级优化、硬件级效率及端到端性能平衡。

实验在长上下文和Agent基准测试中验证：1.性能保持：在RULER、Needle-in-Haystack等长上下文测试，多步工具调用、复杂规划等Agent任务及多轮对话中几乎完全保持原始模型性能；2.速度提升：预填充阶段最高3倍加速（如100K token上下文处理从30秒缩至10秒）；3.内存效率：FP4量化显著减少内存占用，支持更大模型或更长上下文。

Mix-Quant适用于：1.企业级Agent系统：处理大量文档、历史对话等长上下文场景；2.实时交互应用：客服机器人、编程助手等需快速响应的场景；3.边缘部署：资源受限设备上提升内存效率，支持更大规模Agent部署。

当前局限：硬件依赖（需NVIDIA Blackwell及后续架构支持NVFP4）、阶段切换微小延迟、任务特定调优需求。未来方向：自适应量化（动态调整策略）、多硬件支持、探索解码阶段更低精度可行性。

Mix-Quant通过阶段感知混合量化，解决Agentic LLM预填充瓶颈，预填充FP4加速与解码BF16精度结合，实现效率与质量平衡。随着Agent应用普及，阶段感知优化将成为LLM推理效率提升的关键技术。