Cider：在 Apple Silicon 上解锁 INT8 推理的 MLX 扩展

Cider是针对Apple Silicon芯片的MLX扩展项目，通过自定义原语解锁未充分利用的INT8张量运算能力，实现W8A8/W4A8量化推理，显著提升大语言模型预填充速度（1.2-1.9倍），充分发挥Apple Silicon硬件潜力。

量化是将模型权重和激活值转换为低精度整数的技术（W8A8：权重/激活8位；W4A8：权重4位/激活8位），可减少内存占用与带宽需求并加速推理。Apple Silicon M5芯片含专用INT8张量运算单元，但标准MLX框架未完全暴露该能力，Cider填补此空白。

Cider作为MLX扩展，支持W8A8/W4A8两种量化模式；核心创新是深度优化Apple Silicon矩阵乘法单元，将量化矩阵乘法封装为MLX可识别的自定义原语，兼顾MLX易用性与接近硬件极限的性能。

Cider在LLM预填充阶段实现1.2-1.9倍加速，带来更快首响应时间、支持更大模型运行；INT8运算能效比优势延长笔记本电池续航，提升端侧交互式应用用户体验。

Cider以MLX扩展形式发布，与Apple机器学习生态深度融合，可无缝协作MLX自动微分、设备管理等功能；其设计模式为其他量化方案提供参考，可结合投机解码、分页注意力等技术。

Cider适合Mac本地运行LLM场景（开发者AI助手、离线文档处理、隐私敏感企业应用）；随着Apple Silicon芯片迭代，INT8运算单元性能将进一步提升，Cider在端侧AI部署中角色将更重要。