Cascade：突破GPU内存限制，用磁盘KV缓存扩展大模型上下文窗口

Cascade项目提出创新的磁盘KV缓存技术，通过利用GPU显存、系统内存、磁盘的存储层次结构，解决Transformer架构中KV缓存随上下文长度线性增长导致的GPU内存瓶颈问题，实现大语言模型上下文窗口的显著扩展，支持处理长篇文档、代码库分析等超长上下文场景。

长上下文需求

大语言模型上下文窗口扩展可支持整本书籍处理、多轮深度对话、大型代码库分析等场景，但面临GPU内存限制。

KV缓存的内存问题

Transformer自注意力机制中，KV缓存随序列长度线性增长：

• 每个token的KV对大小=2×隐藏维度×精度字节数
• 70B模型FP16下100K token KV缓存约3.2GB（单层单头），实际模型需数十至上百GB显存。

三层存储架构

1. GPU显存（热缓存）：存最近使用KV，延迟纳秒级
2. 系统内存（温缓存）：存较不频繁访问KV，延迟微秒级
3. 磁盘存储（冷缓存）：存历史KV，容量TB级

智能策略

• LRU替换：GPU满时驱逐最久未访问KV
• 预取：提前加载可能需要的KV
• 块化存储：细粒度迁移减少开销
• 压缩编码：降低磁盘I/O与存储占用

技术实现

• 序列化：零拷贝、内存映射、异步I/O
• 随机访问：索引结构、块对齐、布隆过滤器
• 一致性：写回策略、版本控制、崩溃恢复

性能特征

• 最佳场景（局部性好）：GPU命中0.1ms/token，内存命中0.5ms/token
• 挑战场景（长距离依赖）：磁盘命中~5-10ms/token

应用场景

1. 长篇小说生成
2. 代码库级分析
3. 多文档问答
4. 无限对话历史
5. 长视频理解

与现有技术对比

• 稀疏注意力：需重新训练，可能损失长依赖
• 滑动窗口：丢失窗口外上下文
• 模型压缩：影响计算质量 Cascade保持完整注意力，仅改变存储位置。

Cascade是解决LLM上下文限制的务实创新，未改变注意力机制，而是利用成熟存储层次结构突破GPU内存限制，支撑下一代AI应用（如整本书阅读、代码库理解），是通往通用人工智能的坚实一步。

当前局限

1. I/O瓶颈：磁盘访问延迟高
2. 功耗增加：频繁磁盘I/O
3. 系统复杂性提升
4. 依赖高速SSD与PCIe带宽

未来方向

• 智能预取：基于注意力模式精准预加载
• 分层压缩：热数据高精度、冷数据激进压缩
• 分布式扩展：多节点存储KV缓存
• 专用硬件：利用CXL技术优化内存扩展