llm-bench：Apple Silicon上的MLX与GGUF推理基准测试框架

llm-bench是专为Apple Silicon设计的综合基准测试工具，旨在系统性比较MLX（Apple原生框架）与GGUF（跨平台格式，通过llama.cpp）两种模型格式的推理性能。它覆盖提示处理速度、生成速度、内存占用、输出质量等多维度指标，帮助开发者做出数据驱动的技术选型，是Apple Silicon本地AI生态成熟度的标志之一。

随着Apple Silicon（尤其是M系列芯片）在本地LLM推理领域的崛起，开发者面临选择MLX还是GGUF的技术难题。haxlys开发的llm-bench项目，不仅是简单速度测试工具，更是系统化评估框架，旨在隔离运行时差异，精确测量同一模型在不同格式下的表现差异。

llm-bench从四个关键维度评估性能：

1. 提示处理速度（PP）：测量输入提示吞吐量（token/秒），对长文档理解、RAG等场景至关重要；
2. 生成速度（TG）：测量新token生成速度，直接影响交互式聊天体验；
3. 内存占用：通过/usr/bin/time和MLX的mx.metal.get_peak_memory()双重验证峰值内存，决定设备可加载模型规模；
4. 输出质量：用sentence-transformers计算余弦相似度，评估语义差异（常被传统基准忽略但对生产关键）。

模型管理：采用YAML注册表驱动，预配置Gemma4 26B-MoE（6变体）和31B Dense（2变体），添加新模型只需修改registry.yaml并运行sync_models.py； 场景设计：提示长度（256/1024/4096/8192 token）、生成长度（128/512）、重复次数（3次正式+1次预热）模拟真实使用； 工具链：支持模型同步（自动下载缺失变体）、冒烟测试（快速验证）、完整矩阵测试、Streamlit可视化仪表板、Quarto静态报告生成。

基于Gemma4 26B-MoE的初步测试结果：

• 速度对比：MLX-8bit在提示处理阶段吞吐量更高（得益于Unified Memory和Metal优化），但生成长序列时差距可能缩小或反转；
• 内存效率：MLX 8bit量化比GGUF Q8_0占用略少峰值内存，利于加载更大批次/更长上下文；
• 输出一致性：因量化算法差异（MLX自定义8bit vs GGUF Q8_0），输出可能存在细微语义差异，需工具量化评估。

项目文档强调：

1. 避免Metal资源竞争：运行前关闭其他MLX服务（如llm-stack），否则性能下降2-5倍或OOM；
2. 重视预热：Metal GPU需预热达稳定状态，工具已设计预热运行消除变异；
3. 确保可复现性：记录系统版本、MLX版本、llama.cpp版本，在受控环境测试。

生态意义：llm-bench帮助开发者做数据驱动选型、展示量化收益、追踪版本演进、识别优化机会，为Apple Silicon生产LLM推理提供实证基础； 未来方向：支持更多量化方案（MLX 4bit、GGUF Q5_K_M等）、集成更多质量指标（困惑度、下游准确率）、批量并发测试、功耗监控等，巩固其标准工具地位。