SplitLLM-Bench：边缘-云端协同的大模型推理评测框架

SplitLLM-Bench 是一个用于评估分割式大语言模型推理的研究代码库，支持将模型检查点切分为前端与后端，实现本地与云端协同推理，并提供完整的基准测试工具链。

随着大语言模型（LLM）规模的不断增长，在资源受限的边缘设备上部署完整模型变得越来越困难。传统的云端推理虽然能够处理大规模模型，但会带来显著的延迟和网络带宽消耗。分割式推理（Split Inference）作为一种折中方案，将模型切分为两部分：轻量级的前端运行在边缘设备上，计算密集型的后端运行在云端服务器上，通过中间激活值的传输实现协同计算。

SplitLLM-Bench 正是为评估这种边缘-云端协同推理模式而设计的开源研究框架。它提供了一套完整的工具链，帮助研究人员和开发者理解分割式推理在质量、延迟和带宽占用等方面的表现。

该项目的架构设计遵循模块化和可复现性的原则。整个系统由四个主要模块组成：

1. 检查点分割模块（split/）

这个模块负责将预训练的大语言模型检查点切分为前端和后端两部分。通过 split/ckpt.py 脚本，用户可以灵活地指定分割点，生成适用于协同推理的模型组件。分割策略的选择直接影响后续推理的延迟和精度权衡。

2. 模型与编解码模块（model/）

该模块定义了模型 API 和激活值编解码器。激活值在边缘与云端之间传输时需要进行压缩和编码，以减少带宽占用。项目支持多种编解码变体，包括默认的无转换传输模式，用户可以根据网络条件和精度要求选择合适的策略。

3. 运行时模块（runtime/）

运行时提供了本地分割推理和远程后端推理两种模式的支持。通过命令行接口，用户可以启动服务端和客户端，建立边缘与云端之间的连接。这种设计使得开发者能够在单一机器上模拟完整的协同推理流程，也支持真实的分布式部署。

4. 评测模块（bench/）

评测模块包含了一系列基准测试脚本，涵盖困惑度（perplexity）计算、延迟测量、MMLU 任务评估以及生成任务测试。这些脚本设计为可复现的实验流程，确保不同配置下的结果具有可比性。

项目采用 Python 作为主要开发语言，使用 uv 作为虚拟环境管理工具。安装过程简洁明了：

uv venv .venv
source .venv/bin/activate  # Linux/macOS
uv pip install -r requirement.txt

在实现层面，项目充分考虑了研究的可扩展性。custom/ 目录允许用户添加自定义的编解码器和实验模块，而 tests/ 目录则提供了参考实验脚本。可视化模块（viz/）支持激活值的可视化分析，帮助理解分割点对模型内部表示的影响。

值得一提的是，项目文档的组织方式体现了开发者对可维护性的重视。每个主要模块都配有独立的 README 文件，详细说明其功能和使用方法，降低了新用户的上手门槛。

SplitLLM-Bench 适用于多种研究场景：

• 分割点选择研究：通过系统性地测试不同分割位置对延迟和精度的影响，找到特定硬件配置下的最优分割策略。

• 编解码算法评估：比较不同激活值压缩算法在带宽节省和精度保持之间的权衡。

• 边缘设备适配：针对特定的边缘设备（如移动芯片、嵌入式系统）评估可行的模型部署方案。

• 云端服务优化：研究如何设计云端推理服务以高效支持大量边缘客户端的请求。

项目提供了一系列命令行工具，覆盖从模型分割到结果评测的完整流程：

• python -m split.ckpt：执行检查点分割
• python -m runtime.server：启动远程后端服务端
• python -m runtime.client：启动边缘客户端
• python -m bench.ppl：计算困惑度指标
• python -m bench.latency：测量端到端延迟
• python -m bench.mmlu：运行 MMLU 基准测试
• python -m bench.generate_jsonl：执行生成任务并输出结果

这种命令行驱动的设计使得实验流程可以被轻松集成到自动化脚本和持续集成管道中。

SplitLLM-Bench 为分割式大模型推理研究提供了一个扎实的基础平台。它不仅提供了实现边缘-云端协同推理所需的核心组件，还建立了一套标准化的评测方法论。随着边缘计算能力的提升和网络基础设施的改善，分割式推理有望成为大模型部署的重要范式之一。该项目的开源发布将加速这一领域的研究进展，帮助更多开发者探索分布式 AI 系统的可能性。