HybridGen：CPU-GPU混合计算架构突破大模型长上下文推理瓶颈

HybridGen通过创新的CPU-GPU协同注意力机制结合CXL扩展内存技术，解决长上下文LLM推理中的KV缓存瓶颈问题，实现1.41倍至3.2倍的性能提升，为异构计算环境下的AI系统优化提供新方向。

随着LLM上下文长度扩展至数百万token，KV缓存大小线性增长，远超单GPU显存容量。传统KV缓存剪枝和卸载方案存在局限性：未充分利用异构硬件能力，或依赖单一硬件导致资源闲置，且未有效利用新兴内存扩展技术。

HybridGen提出CPU-GPU混合注意力框架，针对CXL分层内存扩展系统设计。核心在于CPU-GPU协同计算而非简单卸载：注意力计算智能分解到两者并行执行，利用GPU矩阵运算优势与CPU大容量内存及复杂控制流处理能力，通过高效同步机制协作完成计算。

HybridGen解决三大技术挑战：

1. 多维注意力依赖：引入注意力logit并行机制，分解注意力分数计算为独立子任务，按数据局部性和计算特性分配给CPU/GPU；
2. 负载失衡：反馈驱动动态调度器实时监控状态，动态调整任务分配平衡负载；
3. NUMA惩罚：语义感知KV缓存映射策略，将高频访问、语义重要token放本地内存，其余放CXL扩展内存，降低访问延迟。

团队在3个GPU平台测试11种LLM模型，对比6种先进方法：

• 平均性能提升1.41-3.2倍；
• 下游任务准确率与基线差异微乎其微；
• 序列长度和模型规模增加时优势更明显，可扩展性优秀。

HybridGen标志LLM推理优化进入异构协同新阶段，实际应用价值包括更长上下文支持、更低推理成本、更好能效比。未来将探索应用于训练阶段，支持TPU/NPU等更多加速器协同，随着CXL普及前景广阔。