LLM-Para：面向异构多级内存架构的LLM推理 Roofline 分析框架

LLM-Para是一个多指标一阶Roofline分析框架，旨在解决异构多级内存架构上大语言模型（LLM）推理的性能分析问题。它支持GQA、MoE、MLA等现代LLM架构，覆盖24种硬件平台，提供多目标设计空间探索能力，帮助用户在性能、能耗、总拥有成本（TCO）和碳足迹等维度进行权衡分析。

随着LLM规模指数级增长，推理性能与效率成为部署核心瓶颈。传统分析方法难以捕捉GQA、MoE、MLA等现代架构的细微差别，工程团队面临硬件选型、部署优化时缺乏系统性量化工具的困境——经验试错成本高，现有工具多关注单一维度（如FLOPs或带宽），缺乏对能耗、TCO、碳足迹的综合考量。

LLM-Para的核心贡献包括：1. 异构多级内存模型：首次系统性建模芯片级SRAM、DRAM、NAND Flash等多级内存层次对解码吞吐量的影响，对边缘设备、移动NPU及存算一体架构的推理分析至关重要；2. 多目标设计空间探索（DSE）引擎：扫描5个硬件参数维度，生成性能、能耗、TCO、CO₂排放四目标下的帕累托最优配置，助力早期权衡分析。

LLM-Para支持13种核心算子分析（含注意力机制相关如FlashAttention、前馈网络相关如SwiGLU、新型架构如MLA等），覆盖19个主流模型（LLaMA-3、Mistral、Qwen2、Mixtral、DeepSeek-V2/R1、Gemma等），并支持2-bit到32-bit的灵活量化配置。

LLM-Para涵盖24种硬件平台（NVIDIA GPU、AMD GPU、Apple Silicon、Intel、移动NPU、存算一体等）。关键洞察包括：1. 解码阶段普遍内存瓶颈（batch size=1时算术强度≤1 FLOP/Byte）；2. MoE的权衡（选择性加载减少权重传输但路由层内存效率低）；3. MLA以计算换内存（32倍KV缓存压缩但注意力FLOPs增500倍）；4. NAND Flash量化优化（INT4量化可获35倍吞吐量提升）；5. 近内存计算甜蜜点（带宽500-2000GB/s、算力5-20TFLOPS下能耗约束实现超20 token/s）。

LLM-Para提供实用接口：1. Web交互界面（https://llm-para.onrender.com）：支持实时参数调整、交互式Roofline图表、FLOPs/内存分解图表、数据导出；2. Python CLI和API：允许编程式批量分析模型-硬件组合，快速定制分析场景。

LLM-Para对不同角色的价值：算法研究员验证新型架构理论收益；系统工程师量化硬件性价比与瓶颈；边缘AI开发者评估量化策略影响；硬件架构师进行早期设计空间探索，寻找性能、能耗、成本、可持续性的帕累托前沿。

LLM-Para推动LLM推理分析从经验驱动向量化驱动演进，通过系统性建模多级内存层次、覆盖现代架构完整算子集、提供多目标优化能力，为社区提供开放可扩展的分析基准。随着模型与部署场景多样化，这种细粒度性能建模将成为高效AI系统设计的必备工具。