异构计算加速大模型推理：GPU-FPGA协同优化内存处理流水线

本文提出一种GPU-FPGA异构系统加速大语言模型推理的创新方法，将稀疏、不规则且内存密集型的内存处理操作卸载到FPGA，GPU保留计算密集型操作，实现1.04至2.2倍性能提升与1.11至4.7倍能耗降低。核心解决大模型推理中的内存瓶颈问题，为高效AI基础设施提供新思路。

随着大语言模型（LLM）能力提升，长上下文处理等需求增长，稀疏注意力、RAG等技术带来计算开销。研究显示，现代LLM推理中内存处理开销占比高达22%至97%，成为关键瓶颈。传统GPU擅长规则计算密集型张量运算，但对稀疏、不规则内存密集型操作效率低，启发探索灵活异构架构。

研究将LLM优化技术统一为四步内存处理框架：1.准备记忆（组织预处理上下文）；2.计算相关性（评估记忆与查询相关度）；3.检索（获取最相关记忆）；4.应用到推理（整合结果到生成）。核心洞察：内存处理操作具稀疏、内存密集、控制密集特性，适合FPGA；GPU适合规则矩阵乘法等密集计算，故卸载内存处理到FPGA，GPU保留Transformer核心计算。

团队在AMD MI210 GPU和Alveo U55C FPGA上实现架构：FPGA端负责稀疏注意力索引、Top-K检索、记忆压缩/解压等；GPU端专注注意力计算和前馈网络等密集计算；通过高速互联实现数据和任务高效调度，发挥FPGA灵活性低延迟与GPU并行计算优势。

多场景评估显示：相比纯GPU基线，异构系统实现1.04至2.2倍加速（稀疏注意力场景最显著）；能耗减少1.11至4.7倍（内存密集型任务节能突出）；所有优化不损失模型精度。结果在NVIDIA A100 GPU上同样成立，验证普适性。

本工作启示：1.通用GPU难高效处理所有LLM负载，异构架构成主流；2.未来AI加速器需紧密结合算法特性设计；3.能耗优化与性能同等重要。该方向将影响异构硬件设计范式，为高效可持续AI基础设施奠基。