Jetson Orin Nano Super 8GB 本地大模型推理实战：Rimrock-Runtimes 项目深度解析

Rimrock-Runtimes是基于Jetson Orin Nano Super 8GB的开源实战项目，提供边缘设备大模型部署指南，涵盖llama.cpp、ONNX Runtime、MLC-LLM等主流框架实测数据、性能瓶颈分析与生产级配置方案，帮助开发者解决资源受限边缘设备的LLM部署问题。

随着LLM技术发展，边缘设备高效运行LLM成为焦点。Jetson Orin Nano Super 8GB以紧凑体积和算力成为首选平台，项目基于该硬件诞生。硬件配置：SM87架构SoC，8GB LPDDR5（约7.43GB供CUDA），915GB NVMe存储；软件栈：JetPack 6.2.2、CUDA 12.6、cuDNN9.3、TensorRT10.3。

边缘设备运行LLM需调优电源与时钟频率。项目开发RIMROCK_TOKENS配置：CPU锁定1728MHz，GPU锁定约1020MHz，EMC频率提升至3199MHz（解决内存带宽瓶颈）。通过nvpmodel模式设置、jetson_clocks锁定、EMC状态控制等操作最大化硬件性能。

• llama.cpp：生产首选，build8664版本支持GGUF与多模态，Gemma4 E2B Q4_K_M达26.3tok/s（4.6/5分），Nemotron-3-Nano-4B Q4_K_M 14.9tok/s（5/5分）；
• ONNX Runtime：峰值33.0tok/s但存在MatMulNBits算子瓶颈；
• MLC-LLM：Qwen2.5-3B q4f16仅3.8/5分未达生产就绪；
• vLLM：因内存限制无法运行（0.19.0版本）。

• 平衡质量速度：Gemma4 E2B Q4_K_M（4.6分/26.3tok/s）、IQ4_XS（4.4分/28.7tok/s）；
• 极致质量：Nemotron-3-Nano-4B（5分/14.9tok/s，适合代码生成/专业创作）；
• 谨慎选择：Phi-4-mini（3.4/5分）。

项目结构分runtimes（配置）、benchmarks（测试结果）、models（管理）；生产部署建议固定IP（如172.16.0.248）和端口8424，提供启动脚本；量化策略推荐Q4_K_M（质量速度平衡），激进方案需权衡质量容忍度。

核心结论：llama.cpp是边缘生产最成熟选择，ONNX Runtime有潜力需优化，vLLM不适用边缘，Gemma4/Nemotron-3-Nano是优质模型。项目提供配置脚本与调优思路，为边缘LLM部署提供实战参考，未来边缘AI实战项目价值将更凸显。