Thaw：让大模型推理冷启动提速17倍的快照技术

一个专为LLM推理优化的快照/恢复系统，通过Rust+CUDA实现GPU状态的快速捕获和还原，支持KV缓存持久化和多GPU张量并行。

在大语言模型（LLM）的生产部署中，冷启动时间是一个长期被忽视但影响巨大的性能瓶颈。当你启动一个vLLM服务加载Llama-3-70B这样的大模型时，可能需要等待近10分钟才能完成权重加载、GPU内存分配和KV缓存初始化。在需要快速扩缩容的云端环境或边缘计算场景中，这种延迟几乎是不可接受的。

Thaw项目正是为了解决这一痛点而生。它通过创新的快照/恢复机制，将Llama-3-70B在双A100上的冷启动时间从546秒压缩到31.8秒——实现了17.2倍的加速。这不仅仅是数字上的优化，而是从根本上改变了大模型服务的部署范式。

Thaw在不同硬件配置下都展现了惊人的加速效果：

方法	时间	加速比
普通vLLM冷启动	546.5秒	1x
Thaw恢复	31.8秒	17.2x
仅权重恢复	10.5秒	6.74 GB/s每卡

硬件	普通启动	Thaw恢复	加速比	吞吐量
H100 SXM	20.7秒	3.5秒	5.9x	10.69 GB/s
RTX PRO 6000 (Blackwell)	28.6秒	3.2秒	8.9x	-
RTX A6000	73.2秒	5.8秒	12.6x	-

一个有趣的规律是：模型越大，Thaw的加速效果越明显。这是因为在大模型中，权重加载时间占总冷启动时间的比例更高，而Thaw正是通过优化权重恢复流程来实现加速的。

Thaw的核心创新在于对GPU状态的完整捕获。传统的模型保存通常只存储权重文件（如Safetensors格式），而Thaw的freeze操作会捕获两类关键数据：

模型权重快照（.thaw文件）：包含所有GPU上的模型参数，以二进制格式直接存储GPU内存内容，避免了传统格式的序列化/反序列化开销。

KV缓存快照（.thawkv文件）：这是Thaw的独特优势。它捕获了vLLM的prefix-cached KV块及其哈希映射表。这意味着恢复后的模型不仅拥有权重，还保留了之前推理的上下文缓存。

Thaw的恢复流程（thaw）采用了精密的流水线架构，最大化硬件带宽利用率：

第一步：虚拟初始化。系统首先用虚拟权重快速初始化vLLM，跳过耗时的磁盘I/O。这一步几乎瞬间完成，让服务框架立即进入就绪状态。

第二步：双缓冲流水线DMA。Thaw使用两个CUDA流（stream）实现流水线传输：

• 一个流负责从NVMe读取快照数据到固定的主机内存（pinned memory）
• 另一个流负责将主机内存数据异步传输到GPU

两个流并行工作，磁盘读取和PCIe传输重叠，消除了传统串行流程中的等待时间。通过O_DIRECT标志绕过内核页缓存，进一步减少内存拷贝开销。

第三步：KV缓存重建。权重恢复完成后，KV缓存块通过独立的DMA通道恢复到GPU，同时重建prefix cache的哈希表。这使得新请求可以立即命中缓存，跳过昂贵的prefill计算。

Thaw完整支持多卡张量并行（Tensor Parallelism），这是大规模模型部署的标配。在TP=2配置下：

• 快照阶段：每张GPU保存自己的权重分片，生成weights.thaw（rank 0）和weights.rank1.thaw
• 恢复阶段：各卡并行加载自己的快照文件，通过RDMA或PCIe直接恢复本地权重

这种设计确保了多卡场景下依然能维持近线性的加速效果。