llm-bench：跨平台大模型推理性能全景评测，5100+实测数据揭示硬件与引擎差异

llm-bench项目通过系统性跨平台评测，提供覆盖4大硬件平台、5种推理引擎、5100+次测量的Qwen3.5系列模型性能数据，旨在为本地大模型部署提供数据驱动的参考基准，帮助解决特定硬件上推理引擎选择的关键问题。

近年来本地大模型部署从极客玩具变为生产选项，但面临硬件与软件组合爆炸的复杂性。硬件多样性包括Apple Silicon（统一内存架构）、NVIDIA GPU（CUDA生态成熟）、AMD处理器（Ryzen AI集成NPU）、多卡配置（扩展显存但有通信开销）；推理引擎生态涵盖llama.cpp（跨平台、量化支持）、vLLM（高吞吐优化）、TensorRT-LLM（NVIDIA官方优化）、MLX（Apple Silicon深度优化）、Ollama（用户友好封装）。

llm-bench评测覆盖三个核心维度：硬件平台（Apple Silicon、NVIDIA DGX Spark、AMD Ryzen AI MAX395、RTX3090×2）、推理引擎（5个主流引擎）、模型规模（Qwen3.5系列9B到122B）。数据规模超5100次测量，确保统计显著性与结果可靠性，可揭示不同配置性能分布、边缘情况及跨配置模式。

评测揭示硬件-引擎匹配的重要性（无通用最佳配置，如Apple Silicon或在MLX上最优，NVIDIA硬件或在TensorRT-LLM/vLLM上表现好）；模型规模扩展非线性（性能下降非线性，受内存带宽、量化策略、内存管理效率影响）；量化与精度的权衡（不同量化级别表现对资源受限场景重要）。

llm-bench为开发者提供多方面参考：硬件选型（预算内最佳性价比、特定模型规模是否需高端硬件、多卡配置价值）；引擎选择（现有硬件切换引擎的收益、低延迟/高吞吐配置优化）；模型规模决策（小模型是否足够、大模型资源消耗与收益权衡）。

llm-bench体现科学评测价值：可复现性（公开代码与实验设置）、标准化指标（统一tokens/second跨平台比较）、持续更新（随新硬件/引擎迭代保持时效性）。

当前局限包括单一模型家族（仅Qwen3.5）、特定工作负载（提示/生成长度固定）、软件版本敏感性；未来可扩展方向：纳入更多模型架构、测试长上下文性能、评估多模态能力、加入功耗指标、测试并发稳定性。

llm-bench通过大规模系统性评测为本地LLM部署提供宝贵数据基础，其实测指南比理论分析更具实用价值。期待更多类似评测推动本地AI部署生态的透明度与成熟度。