章节 01
FlashRT：面向实时AI工作负载的高性能推理引擎
原作者与来源
- 原作者/维护者: flashrt-project 组织
- 来源平台: GitHub
- 原始标题: FlashRT
- 原始链接: https://github.com/flashrt-project/FlashRT
- 发布时间: 2026年6月19日
背景与挑战
当前主流的AI推理工具如TensorRT和vLLM分别针对不同的工作负载场景设计：TensorRT专注于将模型编译为冻结引擎以支持战术搜索，vLLM则面向大批量LLM服务。然而，对于小批量实时推理场景——尤其是机器人视觉-语言-动作（VLA）模型和实时LLM服务——现有的推理框架往往存在编译开销大、启动延迟高、难以快速适应模型变化等问题。
FlashRT应运而生，填补了这一空白。它专门针对小批量、延迟敏感的实时推理场景，通过手写CUDA内核和静态图捕获技术，实现了无需编译、即插即用的推理体验。
核心技术架构
1. 手写CUDA内核库
FlashRT的核心优势在于其手写CUDA内核，覆盖标准Transformer、DiT和SigLIP原语所需的所有内存受限操作：
- 归一化与激活层: LayerNorm、RMSNorm、SwiGLU等
- 融合算子: 残差+归一化+量化融合、RoPE/qkv-split
- 量化支持: FP8、NVFP4 GEMM、cuBLASLt FP8
- 注意力机制: 厂商优化的Flash-Attention 2、Thor CUTLASS FMHA
这些内核专门针对内存带宽瓶颈进行优化，而非计算密集型操作（GEMM/注意力），后者则委托给cuBLASLt、CUTLASS和厂商FA2实现。
2. 静态CUDA图捕获
FlashRT将整个前向传播过程捕获为静态CUDA图，实现零Python开销的图重放。这一设计带来显著优势：
- 首次调用: 约3秒（校准+CUDA图捕获）
- 后续调用: 仅44ms图重放（Thor平台）
- 无引擎文件: 无需导出ONNX或编译引擎
- 驱动升级免疫: CUDA驱动升级、GPU更换、提示词变化均无需重建
3. 硬件自动分发
FlashRT在load_model()时自动检测GPU能力，路由到最佳匹配的后端：
| 计算能力 | GPU | 后端 |
|---|---|---|
| SM110 (11.0) | Jetson AGX Thor | flash_rt.hardware.thor.* |
| SM120 (12.0) | RTX 5090 Blackwell | flash_rt.hardware.rtx.* |
| SM89 (8.9) | RTX 4090 Ada | flash_rt.hardware.rtx.* |
用户代码无需感知底层硬件，同一套代码可在Jetson Thor、RTX 5090、RTX 4090上无缝运行。
支持的模型与性能
VLA模型支持
FlashRT的旗舰集成是生产级VLA控制，支持以下模型：
| 模型 | Thor FP8延迟 | RTX 5090 FP8延迟 |
|---|---|---|
| Pi0.5 | 44.0 ms (23 Hz) | 17.58 ms (57 Hz) |
| Pi0 | 45.8 ms (22 Hz) | 18.43 ms (54 Hz) |
| GROOT N1.6 | 41 ms (24 Hz) | 12.53 ms (80 Hz) |
| Pi0-FAST | 8.1 ms/token | 2.39 ms/token |
LLM支持
FlashRT同样支持纯文本LLM推理：
- Qwen3.6-27B NVFP4: 在RTX 5090上支持256K上下文，145 tok/s预热解码
- Qwen3-8B NVFP4: P=64时9.1ms预填充，150 tok/s解码
使用方式
FlashRT提供极简的3行API：
import flash_rt
model = flash_rt.load_model(
checkpoint="/path/to/pi05_checkpoint",
config="pi05", # 或 "pi0", "groot", "pi0fast"
framework="torch", # 或 "jax"
)
actions = model.predict(
images=[base_img, wrist_img],
prompt="pick up the red block",
)
首次调用约3秒（校准+图捕获），后续调用仅44ms图重放。无需.engine文件，重启后也无需重建。
与现有方案对比
| 特性 | FlashRT | TensorRT | vLLM |
|---|---|---|---|
| 目标场景 | 小批量实时 | 战术搜索编译 | 大批量服务 |
| 编译步骤 | 无 | 需要 | 需要 |
| 首次调用延迟 | ~3s | 分钟级 | 秒级 |
| 后续调用延迟 | ~17-44ms | 低 | 中等 |
| 驱动升级影响 | 无 | 需重建 | 需重建 |
| 模型切换 | 即时 | 需重新编译 | 需重新加载 |
实际意义
FlashRT的出现对实时AI应用具有重要价值：
- 机器人控制: VLA模型可在边缘设备上以20-80Hz频率运行，实现真正的实时机器人控制
- 交互式AI: LLM可在消费级GPU上实现低延迟流式生成，提升用户体验
- 开发效率: 无需复杂的编译流程，模型迭代和部署更加敏捷
- 硬件灵活性: 同一套代码可在Jetson边缘设备和桌面GPU上运行，简化跨平台部署
总结
FlashRT通过手写CUDA内核、静态图捕获和硬件自动分发三大核心技术，为小批量实时AI推理提供了一个零编译、低延迟、高灵活的解决方案。其在VLA机器人控制和LLM服务场景下的性能表现，使其成为实时AI应用开发的强有力工具。对于需要在边缘设备上部署高性能AI模型的开发者来说，FlashRT代表了一个值得关注的技术方向。
关键词
FlashRT, CUDA, 实时推理, VLA, 机器人控制, LLM推理, 静态图, 边缘计算, Jetson, RTX 5090, Pi0, GROOT, 量化推理, FP8, NVFP4
