GPU Direct Storage 冷启动优化：LLM 无服务器推理加速方案

本项目旨在通过组合NVIDIA GPUDirect Storage（GDS）、CRIU容器快照和CUDA Checkpoint/Restore技术，优化LLM无服务器推理的冷启动延迟，目标实现亚秒级GPU状态初始化。项目由avaneesh1830维护，开源于GitHub（链接：https://github.com/avaneesh1830/gpu-direct-storage-coldstarts），发布时间为2026年6月4日。目前项目处于第1周阶段，正在进行NV Stack技术栈调研。

无服务器计算为LLM推理带来按需付费、自动扩缩容、零运维等优势，但冷启动延迟是关键瓶颈。当函数长时间未调用，资源被回收后，重新初始化需经历容器启动、模型加载（GB级权重）、GPU初始化、推理准备等步骤，耗时可达数十秒甚至数分钟。

现有解决方案存在局限：预置并发增加成本，模型量化可能影响精度，分层加载实现复杂，CRIU快照恢复难以处理GPU状态（CUDA上下文与硬件耦合）。

项目采用三层技术栈协同优化：

1. NVIDIA GDS：GPU直接从NVMe SSD读取数据，零拷贝、绕开CPU，加速模型权重加载；
2. CRIU：用户空间进程快照工具，支持容器状态保存与快速恢复；
3. CUDA Checkpoint/Restore：捕获GPU状态（上下文、显存内容），支持跨GPU恢复（部分）并与CRIU集成。

项目8周迭代计划：

周次	主题	状态	说明
1	NV Stack 概览	🚧 进行中	调研 NVIDIA 技术栈
2	LLM 与扩散模型基线	待开始	8B/30B/120B 模型基准测试
3	InstantTensor 跨 GPU 基准测试	待开始	不同 GPU SKU 和 PCIe 代际测试
4	容器检查点/恢复生态	待开始	调研容器快照方案
5	CRIU 与 CUDA 检查点	待开始	实现 GPU 状态快照
6	Dynamo Snapshot	待开始	PyTorch Dynamo 集成
7	InstantTensor 与 vLLM 集成	待开始	SafeTensor 加载器/Omni 集成
8	CuML/CuDF 探索	待开始	核外执行与加速

关键里程碑包括InstantTensor（张量快速序列化、GDS集成）和vLLM集成（SafeTensor优化、连续批处理结合快照恢复）。

项目面临四大挑战及潜在解决方案：

1. GPU状态可移植性：CUDA上下文与硬件绑定 → 使用CUDA虚拟内存管理API，抽象硬件细节，恢复时重新初始化硬件相关部分；
2. 大模型权重加载：70B+模型达140GB+ → 分层加载（优先推理层）、异步预加载、内存映射；
3. 快照大小与恢复速度平衡：完整快照过大 → 增量快照、内存去重、压缩算法；
4. 框架集成：需与vLLM/TensorRT-LLM无缝集成 → 通用接口层、上游贡献、兼容分支。

项目可应用于：

1. 无服务器LLM API服务：按需启动实例，亚秒级响应，成本降低10倍以上；
2. 边缘推理设备：快速切换模型，按需加载任务模型，减少常驻内存；
3. 多租户推理平台：快速上下文切换，隔离用户状态，提高GPU利用率；
4. 弹性伸缩集群：K8s自动扩缩容，快速启动实例分担负载，缩容时保存状态。

类似项目及关系：

项目/技术	特点	与本项目关系
vLLM	高性能LLM推理引擎	集成目标
TensorRT-LLM	NVIDIA优化推理库	潜在集成
CRIU	进程检查点/恢复	核心技术
NVIDIA GDS	GPU直连存储	核心技术
RunPod Serverless	商业无服务器LLM平台	应用场景
Banana.dev	无服务器GPU推理	应用场景

项目创新点：

1. 首次系统性组合GDS+CRIU+CUDA Checkpoint技术；
2. 提供开源可复现方案；
3. 面向流行开源推理引擎vLLM集成；
4. 跨模型规模、GPU SKU、PCIe代际的全面基准测试。

项目状态：处于第1周（NV Stack概览）阶段，积极开发中。

参与方式：

1. 关注GitHub仓库获取更新；
2. 在Issues参与技术路线讨论；
3. 提交PR协助实现组件；
4. 提供不同硬件环境的基准测试结果。

预期成果：

• 开源冷启动优化工具链；
• 详细性能基准报告；
• vLLM集成补丁；
• 技术文档与最佳实践指南。