Fiber-Inference：Apple M4 芯片大模型推理性能的系统性评测研究

Fiber-Inference项目针对Apple M4芯片的五种计算单元（CPU、GPU、ANE、AMX、MLX优化实现）进行系统性评测，旨在解决端侧大模型推理的硬件选择困境。研究通过200+次测量揭示核心发现：ANE预填充阶段吞吐量达21490 tokens/秒；AMX比GPU快1.8倍；MLX框架实现2.2倍加速。这些结果为端侧AI部署提供重要参考。

随着LLM技术普及，端侧高效运行模型需求增长。Apple Silicon凭借统一内存架构和ANE成为热门选择，但开发者面临M4芯片多种计算单元（CPU、GPU、ANE、AMX）的选择难题。Fiber-Inference项目通过系统性性能评测，为该问题提供数据驱动答案。

研究采用严谨评测框架：

• 计算单元：覆盖CPU（高性能核心）、GPU、ANE、AMX、MLX优化实现
• 测试场景：预填充与解码阶段分别测试
• 模型规模：1B到70B参数
• 数据规模：200+组独立测量数据 未依赖单一指标，确保结果全面性。

关键发现摘要

• ANE预填充阶段表现惊人：21490 tokens/秒
• AMX比GPU快1.8倍
• MLX框架实现2.

各计算单元特性

• CPU：通用灵活，精度高，但并行能力有限
• GPU：并行计算强，生态成熟，但功耗较高
• ANE：能效比高，预填充性能突出，编程模型封闭
• AMX：易于使用，性能优异，能效比优于GPU
• MLX：统一内存管理，算子融合优化，硬件感知调度

这些特性决定不同单元的适用场景。

LLM推理分预填充和解码两阶段，硬件需求差异显著：

预填充阶段（计算密集型）

• 需处理完整输入序列，计算量大、并行度高
• ANE表现最佳，得益于高内存带宽和并行能力

解码阶段（内存带宽密集型）

• 逐token生成
• 各单元性能差距缩小，量化技术可加速

两阶段特性影响硬件选择策略。

基于研究结果，端侧LLM部署建议：

场景一：极致性能

• 预填充用ANE，解码用AMX/MLX优化
• 配合INT4/INT8量化减少带宽压力

场景二：开发效率优先

• 首选MLX（官方框架，API友好）
• 备选PyTorch Metal（迁移成本低）

场景三：特定模型架构

• 含非标准算子或动态形状时，回退CPU/GPU

选择需结合具体需求。

核心总结

1. 无银弹：不同计算单元各有优势，需按需选择
2. 软件优化潜力大：MLX的2.2倍加速证明框架优化价值
3. ANE潜力被低估：预填充性能突出

研究局限

• 仅针对M4芯片，结论不适用所有硬件
• 测试模型有限，未覆盖所有LLM架构
• 依赖特定软件版本

未来方向

• 多模态模型评测
• 长上下文场景分析
• 混合精度影响研究

项目论文和数据集已开源，为社区研究提供基础。