EdgeLLM-Systems：面向边缘设备的大模型推理系统研究框架

EdgeLLM-Systems 是由 TianyiLan 维护的 GitHub 项目（原始链接：https://github.com/TianyiLan/EdgeLLM-Systems，更新时间：2026-06-13T13:47:25Z），专注于资源受限边缘环境的大模型推理系统研究。该项目提供完整的性能剖析、内存占用分析和推理效率评估工具链，支持 LLaMA 等模型在边缘设备上的部署优化。核心内容涵盖目标边缘平台分类、三维度测量框架、实验成果、技术工具链及未来方向，为边缘 AI 部署提供数据驱动的参考依据。

随着大语言模型（LLM）在各类应用场景中的普及，如何在资源受限的边缘设备上高效部署和运行这些模型成为关键挑战。边缘设备通常面临显存有限、带宽受限、低延迟要求等约束，传统云端部署方案难以直接迁移。EdgeLLM-Systems 旨在解决这一问题，提供系统化框架用于边缘环境中大模型推理的性能剖析、优化和异构硬件加速。

EdgeLLM-Systems 聚焦两类典型边缘计算平台：

主机式边缘平台（Host-centric Edge Platforms）

以 x86 或 ARM 架构主机为核心，配合独立 GPU 或 FPGA 加速卡，典型场景包括个人电脑、小型工作站和边缘服务器。挑战在于有限显存预算内加载运行大模型并保持可接受的推理延迟。

片上集成式边缘平台（SoC-integrated Edge Platforms）

将 CPU、GPU、NPU 等计算单元集成在同一片上系统（SoC），常见于智能手机、机器人及 Jetson、Orin 等嵌入式 AI 设备。资源更紧张，需更精细的优化策略。

项目采用与学术界主流基准（MLPerf Inference、MobileLLM、LLM-in-a-Flash）对齐的三分类测量体系：

内存占用（Memory Footprint）

关注模型可部署性，核心指标包括模型加载内存（model_load_mem_mb）、峰值内存（peak_mem_mb）、KV 缓存大小（kv_pkv_final_mb）、KV 负载比例（kv_payload_ratio）等，帮助了解不同上下文长度下的内存需求。

推理效率（Inference Efficiency）

衡量推理速度，核心指标包括首 token 生成时间（TTFT）、每 token 生成时间（TPOT）、总延迟（total_latency_ms）和吞吐量（tokens/s），直接影响交互式应用的用户体验。

模型质量（Model Quality）

评估精度保持情况，使用 MMLU-Pro、GSM8K、HellaSwag、WinoGrande 和 TruthfulQA MC1 等标准文本基准测试，确保优化不显著损害模型能力。

项目完成对 LLaMA-3.2-1B-Instruct 和 LLaMA-3.2-3B-Instruct 的全面测试，在 Google Colab L4 GPU 上建立 FP16 精度基线数据：

内存占用分析

1B 参数模型在 32768 token 长上下文下稳定运行，峰值内存约 11.5 GB；3B 参数模型相同条件下峰值内存达 18 GB（接近 L4 GPU 容量边界）。关键发现：短上下文显存由模型权重主导，长上下文时 KV Cache 和 prefill 阶段峰值显著抬升，成为部署边界主要压力源。

推理效率表现

1B 模型短输入场景达约 50 tokens/s，边界输入（32768 prompt）保持 39.6 tokens/s，TTFT 3.46 秒；3B 模型短输入约 29.6 tokens/s，边界输入降至 13.0 tokens/s，TTFT 增至 9.04 秒。长上下文对推理效率呈非线性影响，prefill 和 decode 阶段进入更明显的带宽/容量压力区间。

模型质量验证

3B 模型相比 1B 模型在知识推理（MMLU-Pro：33.33% vs 19.25%）、数学推理（GSM8K：67.40% vs 36.80%）和常识推理（WinoGrande：73.20% vs 61.40%）等任务上显著提升，验证模型规模与能力正相关。

项目提供完整 Python 工具包：

• profiling_core.py：核心剖析引擎，协调各类性能指标采集
• memory_profiler.py：内存占用分析 API，跟踪模型加载、KV 缓存等内存行为
• efficiency_profiler.py：推理效率分析 API，测量延迟和吞吐量指标
• kv_cache.py：KV 缓存专项分析工具
• lm_eval_runner.py：基于 lm-evaluation-harness 的模型质量评估运行器

所有测量结果以 CSV 格式输出，分为原始数据（raw）和汇总数据（summary）两类，便于后续分析和可视化。

未来方向

规划中的 exp002 将扩展至多模态领域，对 LLaMA-3.2-11B-Vision 进行 Vision-Language 场景性能剖析，增加图像预处理、vision encoder、projector 和 image token 等细分指标。

实用价值

• 边缘 AI 产品选型：通过公开基准数据预估不同规模模型在目标硬件上的表现
• 部署边界评估：确定特定硬件配置下支持的最大上下文长度和并发量
• 优化策略验证：为量化、剪枝、KV Cache 优化等技术效果评估提供标准化方法
• 硬件选型决策：对比不同平台表现指导边缘设备硬件选型

EdgeLLM-Systems 代表一种务实的大模型边缘部署研究路径，不追求理论最优解，而是通过系统化测量和分析提供真实可信的性能数据。在边缘 AI 日益重要的今天，这种数据驱动的研究方法将为更多实际应用提供坚实基础。