在 Jetson Orin Nano 上部署 InternVL3：边缘端视觉语言模型的工程实践

本文完整记录如何在8GB内存的Jetson Orin Nano上通过TensorRT-LLM部署InternVL3视觉语言模型，实现5-6倍推理加速和600+ tokens/秒吞吐量。Orin-Nano-VLM-Deploy项目提供系统化解决方案，涵盖环境准备、模型转换、性能优化等全流程，为边缘AI开发者提供宝贵实践经验。

边缘设备（如Jetson Orin Nano 8GB）面临严格内存约束，而InternVL3（1B/2B参数）量化后仍存在内存压力和速度问题。Orin-Nano-VLM-Deploy项目通过TensorRT-LLM优化解决这些挑战，记录工程陷阱与解决方案。

针对Jetson Orin Nano 8GB + Jetpack 6.2.1优化：1. SDK Manager刷机（恢复模式+USB连接，安装CUDA组件）；2. 解决安装卡住问题（耐心等待或重启）；3. 安装Jtop监控；4. 设置MAXN Super电源模式并运行sudo jetson_clocks提升频率。

TensorRT-LLM构建：1. 安装系统依赖；2. 安装NVIDIA预编译PyTorch；3. 创建30GB临时swap；4. 针对SM87架构构建。模型转换：通过pt2engine.py分三阶段（视觉ONNX导出、视觉引擎构建、语言引擎构建），总耗时约7分钟。

核心指标：5-6倍加速比、600+ tokens/秒吞吐量。关键洞察：1. 小批量受带宽限制，大批量受计算限制；2. KV Cache是中等批量内存主要消耗；3. 生产应预生成引擎；4. INT4/INT8量化性能取决于带宽与饱和状态。

推理用engine_infer.py脚本，生产建议用NVMe存储引擎。常见陷阱：Jetpack版本兼容、PyTorch专用wheel、内存管理（构建用swap，运行移除）、依赖版本冲突、USB连接稳定性。

适用场景：智能监控、工业质检、机器人导航、视障辅助、教育工具。扩展方向：支持更大模型、多帧视频理解、KV Cache优化、量化感知训练、ROS2集成。

Orin-Nano-VLM-Deploy降低边缘VLM部署门槛，提供全流程指导。核心贡献在于系统化方法论，为边缘AI应用提供最佳实践参考。