# Jetson Orin Nano Super 8GB 本地大模型推理实战：Rimrock-Runtimes 项目深度解析 > 一份详尽的边缘设备大模型部署指南，涵盖 llama.cpp、ONNX Runtime、MLC-LLM 等主流推理框架在 Jetson Orin Nano Super 8GB 上的实测数据、性能瓶颈分析与生产级配置方案。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-21T13:45:18.000Z - 最近活动: 2026-04-21T13:49:19.679Z - 热度: 154.9 - 关键词: Jetson Orin Nano, 边缘计算, 大语言模型, llama.cpp, ONNX Runtime, MLC-LLM, Gemma 4, 模型量化, 本地推理, 边缘AI部署 - 页面链接: https://www.zingnex.cn/forum/thread/jetson-orin-nano-super-8gb-rimrock-runtimes - Canonical: https://www.zingnex.cn/forum/thread/jetson-orin-nano-super-8gb-rimrock-runtimes - Markdown 来源: ingested_event --- ## 项目背景与硬件平台 随着大语言模型（LLM）技术的快速发展，如何在资源受限的边缘设备上高效运行这些模型成为了开发者社区关注的焦点。NVIDIA Jetson Orin Nano Super 8GB 作为一款面向边缘 AI 应用的开发套件，凭借其紧凑的体积和相对可观的算力，成为了许多开发者尝试本地部署 LLM 的首选平台。 Rimrock-Runtimes 项目正是基于这一硬件平台诞生的实战型开源项目。项目作者 jsligar 通过系统性的测试和调优，为我们提供了一份详尽的边缘设备大模型部署指南。该项目不仅记录了多种主流推理框架在 Jetson Orin Nano Super 上的实测表现，更重要的是分享了从配置优化到生产环境部署的完整经验。 硬件配置方面，Jetson Orin Nano Super 采用 SM87（Ampere）架构的 SoC，配备 8GB LPDDR5 统一内存（其中约 7.43GB 可供 CUDA 使用），搭配 915GB NVMe 存储。软件栈方面，项目基于 JetPack 6.2.2，CUDA 12.6，cuDNN 9.3 和 TensorRT 10.3 构建。 ## 性能调优：RIMROCK_TOKENS 电源配置 在边缘设备上运行大模型，电源管理和时钟频率的调优至关重要。项目作者开发了一套名为 RIMROCK_TOKENS 的自定义电源配置方案，通过锁定所有时钟频率来确保推理性能的稳定性。 具体配置包括将 CPU 频率锁定在 1728 MHz，GPU 频率锁定在约 1020 MHz，同时将内存控制器（EMC）频率提升至 3199 MHz。这种激进的内存超频策略对于大模型推理尤为重要，因为内存带宽往往是边缘设备上的主要瓶颈。 通过执行一系列系统命令，包括设置 nvpmodel 模式、锁定 jetson_clocks、启用 EMC 状态控制和带宽管理器暂停等操作，可以最大化硬件性能。这些调优措施为后续的推理测试奠定了坚实的性能基础。 ## llama.cpp：生产环境的首选方案 在众多测试的推理框架中，llama.cpp 凭借其出色的性能和稳定性脱颖而出，成为项目的生产环境首选。项目使用了 build 8664 版本的 llama-server，支持 GGUF 格式模型和多模态推理（通过 mmproj 加载视觉模块）。 测试结果显示，Gemma 4 E2B Q4_K_M（sowilow 量化版本）在延迟优先场景下表现最佳，达到了约 26.3 tok/s 的生成速度，综合评分为 4.6/5。而在质量优先场景下，Nemotron-3-Nano-4B Q4_K_M 以 14.9 tok/s 的速度获得了 5.0/5 的满分评价。两款模型均支持文本和视觉多模态能力，上下文窗口为 32768 tokens。 llama.cpp 的成功不仅在于其优秀的性能表现，更在于其成熟的生态系统和广泛的模型支持。项目提供了完整的启动脚本和配置方案，方便开发者快速部署到生产环境。 ## ONNX Runtime：潜力与瓶颈并存 ONNX Runtime 作为微软推出的跨平台推理框架，在 Jetson Orin Nano Super 上也展现出了不错的潜力。测试显示，使用 CUDA Execution Provider 的 ONNX Runtime 在 Gemma 4 E2B 模型上达到了 33.0 tok/s 的峰值速度。 然而，项目作者指出 ONNX Runtime 在实际应用中遇到了 MatMulNBits 算子的性能瓶颈，导致其无法充分发挥硬件潜力。尽管如此，ONNX Runtime 的 33.0 tok/s 理论峰值仍然是目前所有测试框架中最高的，这表明如果未来的版本能够优化相关算子实现，仍有很大的提升空间。 项目详细记录了 ONNX Runtime 的调优过程和性能分析，包括所有尝试过的优化手段和最终的性能剖析报告，为其他开发者提供了宝贵的参考。 ## MLC-LLM 与 vLLM：边缘部署的现实挑战 除了 llama.cpp 和 ONNX Runtime，项目还测试了 MLC-LLM 和 vLLM 两个框架，但结果并不理想。 MLC-LLM 虽然是一个专为移动和边缘设备设计的编译型推理引擎，但在 Jetson Orin Nano Super 上的表现未能与 llama.cpp 竞争。测试的 Qwen2.5-3B q4f16 模型仅获得 3.8/5 的评分，显示出该框架在当前硬件和模型组合下尚未达到生产就绪的状态。 vLLM 的情况更为严峻。尽管 vLLM 在服务器端 GPU 上以其高效的 PagedAttention 机制著称，但在 0.19.0 版本的测试中，由于 embed_tokens_per_layer 操作的内存需求超出了 8GB 统一内存的限制，导致无法运行。这一结果提醒我们，服务器端的优化策略并不总是适用于资源受限的边缘设备。 ## 模型评测与选型建议 项目提供了一份详尽的模型性能排行榜，涵盖了多个主流轻量级模型在 llama.cpp 上的实测数据。 在质量与速度的平衡方面，Gemma 4 E2B 系列表现突出。其中 sowilow 的 Q4_K_M 量化版本在保持 4.6/5 高质量评分的同时，实现了 26.3 tok/s 的生成速度。而 IQ4_XS 量化版本虽然速度更快（28.7 tok/s），但质量评分略有下降至 4.4/5。 对于追求极致质量的场景，Nemotron-3-Nano-4B 以 5.0/5 的满分评价成为最佳选择，尽管其 14.9 tok/s 的速度相对较慢。这一模型特别适合对输出质量要求严格的应用场景，如代码生成或专业内容创作。 项目还测试了 Phi-4-mini 等模型，但评分相对较低（3.4/5），建议开发者根据具体应用场景谨慎选择。 ## 工程实践与部署经验 Rimrock-Runtimes 项目的价值不仅在于性能数据，更在于其分享的工程实践经验。项目结构清晰，分为 runtimes、benchmarks 和 models 三个主要目录，分别存放运行时配置、基准测试结果和模型管理信息。 在生产部署方面，项目建议使用固定的 IP 地址（如 172.16.0.248）和专用推理端口（8424），并提供了完整的启动脚本。这些细节对于构建稳定可靠的边缘推理服务至关重要。 此外，项目还记录了模型量化策略的选择经验。Q4_K_M 量化格式在质量和速度之间取得了良好的平衡，是目前边缘部署的推荐选择。而 IQ4_XS 等更激进的量化方案虽然能进一步提升速度，但需要开发者根据具体应用的质量容忍度进行权衡。 ## 总结与展望 Rimrock-Runtimes 项目为边缘设备大模型部署提供了一份难得的实战指南。通过系统性的测试和详尽的记录，项目清晰地展示了 Jetson Orin Nano Super 8GB 在本地 LLM 推理方面的能力边界和最佳实践。 核心结论包括：llama.cpp 是目前边缘生产环境的最成熟选择；ONNX Runtime 有潜力但需要进一步优化；vLLM 等服务器端优化方案在边缘设备上可能面临内存限制；Gemma 4 和 Nemotron-3-Nano 是当前边缘部署的优质模型选择。 对于希望在边缘设备上部署大模型的开发者来说，该项目不仅提供了可直接使用的配置和脚本，更重要的是展示了系统性的性能调优和问题排查思路。随着边缘 AI 技术的不断发展，这类实战型开源项目的价值将愈发凸显。