SFMP：面向大语言模型的细粒度、硬件友好且无需搜索的混合精度量化框架

SFMP是一种新型混合精度量化框架，通过分数位宽、块级混合精度、行列权重重排和统一GEMM内核四大创新，解决传统方法中搜索成本高和硬件效率低的问题，在压缩比与推理效率间取得优异平衡，适用于大语言模型部署场景。

随着大语言模型参数规模扩大，部署成本急剧上升，量化技术成为关键压缩手段。传统均匀量化难以平衡压缩率与性能；现有混合精度方法存在两大痛点：一是需昂贵离散优化确定精度分配，搜索空间随模型规模指数增长；二是非规则内存布局导致硬件效率低下。

1. 分数位宽：将离散精度分配转化为连续优化，降低求解复杂度，无需搜索；2. 块级混合精度：以(512,128)块为单元，兼顾细粒度与硬件友好；3. 行列权重重排：聚合重要权重到特定块，提升量化质量且开销极小；4. 统一GEMM内核：支持任意平均位宽的高效CUDA内核，增强部署灵活性。

在Llama-3.1-8B和Qwen3-8B模型上验证：

• 压缩效果：Llama-3.1-8B 3.75位配置下，模型大小仅5.3GB（约原始35%），准确率接近FP16版本；
• 跨模型一致性：Qwen3-8B实验呈现相似趋势，验证普适性；
• 推理效率：统一GEMM内核提升吞吐量，搜索免费特性缩短部署准备时间。

SFMP支持AWQ、GPTQ等多量化方法集成；ModelScope平台提供预量化模型，降低使用门槛；提供端到端工具链（敏感度分析、量化、评估、部署），支持导出BCQ格式与自定义CUDA内核。

1. 端侧AI加速：压缩模型体积至原四分之一以下，助力边缘设备部署；2. 云成本优化：降低内存占用与推理成本，提升服务并发；3. 开源生态贡献：代码、模型、工具全部开源，推动技术民主化与后续研究。

SFMP通过四大创新解决传统混合精度量化痛点，平衡压缩率、性能与效率，为大模型广泛部署提供新路径。未来将支持更多架构、探索更低位宽方案，并深化硬件合作，有望成为量化领域事实标准之一。