# THInfer：国产超算上的大模型推理加速方案

> THInfer针对国产MT-3000异构众核处理器的内存带宽瓶颈，通过算子优化、图融合和P-B-D流水线等技术，在7B模型上实现比A800 GPU高67%-84%的吞吐提升。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-05-25T10:03:25.000Z
- 最近活动: 2026-05-26T04:50:04.843Z
- 热度: 123.2
- 关键词: 大模型推理, 异构众核, 内存带宽优化, 国产超算, VLIW SIMD, 计算图融合, 流水线并行, 天河超算
- 页面链接: https://www.zingnex.cn/forum/thread/thinfer
- Canonical: https://www.zingnex.cn/forum/thread/thinfer
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：arXiv authors
- 来源平台：arxiv
- 原始标题：Bandwidth-Aware LLM Inference on Heterogeneous Many-Core Supercomputers
- 原始链接：http://arxiv.org/abs/2605.25655v1
- 来源发布时间/更新时间：2026-05-25T10:03:25Z

# THInfer：国产超算上的大模型推理加速方案\n\n## 原作者与来源\n\n- **原作者/团队**：THInfer研究团队\n- **来源平台**：arXiv\n- **原文标题**：Bandwidth-Aware LLM Inference on Heterogeneous Many-Core Supercomputers\n- **原文链接**：http://arxiv.org/abs/2605.25655v1\n- **发布时间**：2026年5月25日\n\n## 问题背景：大模型推理的内存墙困境\n\n大型语言模型（LLM）的推理过程面临着严峻的性能瓶颈。虽然模型参数和计算量持续增长，但真正限制推理速度的往往不是计算能力，而是**内存带宽**。在Transformer架构中，注意力机制需要频繁访问键值（KV）缓存，这导致推理过程成为典型的"内存受限"任务——GPU的计算单元大部分时间都在等待数据从显存传输过来。\n\n这一困境在异构众核处理器上尤为突出。以天河超级计算机使用的MT-3000处理器为例，这类国产芯片虽然拥有强大的计算核心，但其主存带宽相对有限，且内存层次结构呈现分布式特征。直接将现有的GPU推理框架（如DeepSpeed、vLLM）迁移到这类架构上，往往无法充分发挥硬件潜力，甚至可能因内存访问模式不匹配而导致性能严重下降。\n\n## THInfer：面向带宽受限环境的推理框架\n\n研究团队提出了THInfer，一个专门为异构众核超算设计的大模型推理框架。与通用框架追求跨平台兼容性的思路不同，THInfer采取了**硬件感知**的设计哲学——深入理解目标架构的内存特性和计算特征，通过软硬件协同优化最大化数据局部性。\n\nTHInfer的核心设计理念可以概括为三点：\n\n1. **极致的算子优化**：针对VLIW SIMD架构手工编写高性能FP16内核\n2. **智能的图融合策略**：通过密度驱动的计算图融合减少内存往返\n3. **高效的流水线调度**：设计Prefill-Buffer-Decode三阶段流水线隐藏延迟\n\n## 技术突破一：VLIW SIMD架构的高性能算子库\n\nMT-3000处理器采用VLIW（超长指令字）SIMD架构，这与GPU的SIMT（单指令多线程）模型有本质区别。THInfer为此开发了一套专门优化的算子库，核心亮点包括：\n\n- **手工优化的FP16内核**：针对矩阵乘、注意力计算等核心操作，利用VLIW的指令级并行特性，在每个计算簇上达到峰值性能的70%\n- **向量化内存访问**：通过精心设计的内存布局和对齐策略，最大化SIMD单元的利用率\n- **寄存器级优化**：充分利用VLIW架构丰富的寄存器资源，减少对慢速内存的访问\n\n这些底层优化确保了计算核心能够持续满载运行，而不是被内存带宽所限制。\n\n## 技术突破二：密度驱动的计算图融合\n\n在LLM推理中，计算图通常由大量小算子组成，每个算子都涉及内存读写。THInfer引入了**密度驱动的图融合机制**，通过以下策略减少内存流量：\n\n- **算子融合**：将多个连续的小算子合并为单个内核，消除中间结果的内存往返\n- **统一调度**：基于数据依赖关系全局优化算子执行顺序，提升缓存命中率\n- **分阶段注意力融合**：针对Transformer的注意力计算特点，设计特殊的流水线融合方法，在保持计算正确性的同时最大化并行度\n\n这种融合策略不是简单的启发式规则，而是基于对计算密度的量化分析——只有当融合后的计算密度超过某个阈值时才执行融合，避免过度融合导致的寄存器溢出。\n\n## 技术突破三：P-B-D流水线与混合并行\n\nLLM推理通常包含两个阶段：预填充（Prefill）阶段处理输入提示，解码（Decode）阶段生成输出token。这两个阶段的计算特征差异很大：Prefill是计算密集型，可以充分利用并行性；Decode是内存密集型，每次只处理一个token。\n\nTHInfer创新性地提出了**Prefill-Buffer-Decode（P-B-D）三阶段流水线**：\n\n- **Prefill阶段**：并行处理输入序列，计算并缓存KV值\n- **Buffer阶段**：作为中间缓冲，管理KV缓存的分布和同步\n- **Decode阶段**：逐个生成token，同时预取后续可能需要的KV值\n\n配合**两级通信机制**（基于MPI的跨节点通信和基于hthreads的节点内通信），THInfer实现了高效的混合并行策略，支持数据并行、张量并行和流水线并行的灵活组合。\n\n## 实验结果：超越GPU的性能表现\n\n研究团队在Llama模型系列上进行了全面测试，结果令人印象深刻：\n\n### 7B模型性能对比\n\n| 对比方案 | 吞吐提升 |
|---------|---------|
| vs DeepSpeed (2×V100S) | +62% ~ +73% |
| vs A800 GPU | +67% ~ +84% |
\n### 更大规模模型\n\n- **13B和30B模型**：THInfer同样展现出与GPU相当甚至更优的性能\n- **70B模型**：THInfer保持稳定运行，而典型的GPU框架在相同配置下无法启动\n\n这些数据表明，通过针对性的架构优化，国产异构众核处理器完全有能力在LLM推理任务上与顶级GPU竞争，甚至在某些场景下实现超越。\n\n## 技术启示：架构感知的系统优化价值\n\nTHInfer的成功为AI系统优化提供了重要启示：\n\n1. **硬件特性决定优化方向**：不同架构的瓶颈不同（GPU是内存带宽，众核处理器可能是通信延迟），优化策略必须因地制宜\n2. **底层算子优化仍有空间**：即使在高度优化的BLAS库基础上，针对特定架构的手工调优仍能带来显著收益\n3. **流水线设计是隐藏延迟的关键**：通过计算与通信的重叠，可以有效缓解带宽受限问题\n4. **国产芯片潜力巨大**：只要配套软件生态完善，国产处理器在AI推理场景下完全具备竞争力\n\n## 应用场景与未来展望\n\nTHInfer的主要应用价值体现在：\n\n- **超算中心的大模型服务**：充分利用现有天河等国产超算资源提供LLM推理服务\n- **边缘部署的轻量化方案**：通过极致优化，在资源受限环境下实现可接受的推理性能\n- **多模态推理加速**：为视觉-语言模型等需要更大内存带宽的应用提供支持\n\n未来研究方向包括：\n\n- **动态批处理优化**：根据请求负载自动调整批大小以最大化吞吐\n- **量化支持**：集成INT8/INT4量化进一步降低内存占用\n- **多模态扩展**：支持图像、视频等多模态输入的高效处理\n\n## 结语：软硬件协同的典范\n\nTHInfer代表了AI系统优化的一个重要方向——不是等待硬件变得更强大，而是通过深度的软硬件协同设计，在现有硬件上榨取每一分性能潜力。在天河超算这样的国家级算力基础设施上实现高效的大模型推理，不仅具有技术价值，更具有战略意义——它证明了国产算力生态完全有能力支撑起AI时代的计算需求。\n\n对于从事AI系统优化的工程师和研究者来说，THInfer提供了一个值得学习的案例：只有真正理解硬件，才能写出高效的软件。