PROJECT SAINATH：从零开始用Verilog实现大语言模型硬件加速器

PROJECT SAINATH是由VLSI爱好者从零开始设计的RTL级AI硬件加速器，通过脉动阵列架构在FPGA上实现Transformer核心计算，旨在为大模型边缘推理提供高性能解决方案。项目完全采用Verilog RTL设计，不依赖现成IP核，既是技术实现案例，也为理解AI加速器工作原理提供了学习资源。

随着大语言模型（LLM）快速发展，边缘设备上的高效推理成为业界焦点。传统CPU/GPU在功耗和延迟上难以满足边缘AI需求，因此VLSI爱好者发起PROJECT SAINATH，目标是构建专门用于Transformer推理的硬件加速器。项目采用'从零开始'的RTL设计方法，无现成IP核，展示硬件设计功底并提供学习案例。

PROJECT SAINATH的核心是二维脉动阵列架构，灵感源于Google TPU。该结构为数据流驱动的并行计算，数据如波浪流动，每个处理单元执行计算并传递结果。设计中矩阵A左向右流动、矩阵B上向下流动，中间结果就地累加，避免频繁内存访问，提升效率。针对Transformer自注意力的Q×K^T矩阵乘法，脉动阵列可单周期完成多个乘加操作，实现并行计算。

处理单元（PE/mac）

每个PE含定制乘加（MAC）单元，具备单周期累加和同步数据转发功能，确保数据无停顿流动。

2x2脉动阵列引擎

当前实现功能完整的2x2阵列，四个PE通过互连结构协同工作，实现无冲突并发矩阵乘法，已完成流水线设计验证，为后续扩展奠定基础。

数据流控制器（valid_fsm）

采用有限状态机（FSM），管理内存读取、数据偏斜及精确周期的数据馈送，确保数据在正确时间到达正确位置。

项目包含周期精确测试平台，使用Icarus Verilog（iverilog）仿真，GTKWave进行波形分析，验证计算正确性及时序精确性。技术栈：设计语言Verilog（RTL级）、仿真工具Icarus Verilog、波形分析GTKWave、目标平台FPGA、设计范式领域专用架构（DSA）。

尽管当前为2x2阵列，项目展示了算法到硬件的完整映射路径。对边缘AI应用，定制加速器优势：低延迟（无通用处理器指令译码开销）、高能效（减少高功耗内存访问）、确定性（时序可预测）、可扩展性（脉动阵列天然支持规模扩展）。未来更大规模阵列可处理实际Transformer模型，为边缘LLM推理提供可行方案。

学习价值

为AI硬件开发者提供学习资源，展示算法到硬件映射、脉动阵列设计细节、RTL设计流程与验证方法、软硬件协同思维。

总结

PROJECT SAINATH是开源硬件社区在AI加速器领域的重要尝试，既是技术项目也是教育平台。随着AI模型增长，此类领域专用架构在边缘计算等领域将更重要，值得持续关注学习。项目座右铭'No IP cores. No shortcuts.'体现硬件工程师工匠精神。