Vector Inference：在Slurm集群上高效部署大模型推理服务

Vector Institute开源的vec-inf工具包，让在Slurm管理的计算集群上部署LLM推理服务变得简单高效，支持vLLM和SGLang推理引擎，提供CLI和API两种使用方式。

随着大型语言模型（LLM）的快速发展，如何在生产环境中高效部署这些模型成为关键挑战。对于科研机构和企业而言，Slurm作为最流行的HPC集群工作负载调度器，承载着大量计算任务。然而，在Slurm集群上部署LLM推理服务并非易事——开发者需要处理复杂的资源分配、环境配置、服务暴露和负载均衡等问题。

Vector Institute（加拿大顶尖AI研究机构）推出的vector-inference项目正是为了解决这一痛点。该项目提供了一个开箱即用的解决方案，让研究人员和工程师能够轻松在Slurm集群上运行基于vLLM和SGLang的开源推理服务。

vector-inference（简称vec-inf）是一个Python工具包，旨在简化Slurm集群上的LLM推理服务部署流程。它封装了复杂的Slurm作业提交、容器环境管理和服务端点配置，让用户只需简单几条命令即可启动生产级的推理服务。

• 双推理引擎支持：同时支持vLLM和SGLang两种高性能开源推理引擎
• OpenAI兼容API：暴露的推理端点与OpenAI API格式兼容，便于现有应用迁移
• 灵活的部署方式：支持CLI命令行和Python API两种使用模式
• 原生Slurm集成：针对Slurm环境优化，自动处理资源分配和作业调度
• 容器化部署：提供预构建的Docker镜像，确保环境一致性

对于使用Vector Institute Killarney集群环境的用户，安装非常简单：

pip install vec-inf

对于其他Slurm集群，用户需要克隆仓库并修改配置文件，包括environment.yaml和models.yaml，以适配本地环境。

vec-inf支持通过环境变量设置默认参数，避免每次运行都输入冗长的命令行参数：

• VEC_INF_ACCOUNT：Slurm账户名
• VEC_INF_WORK_DIR：工作目录（非主目录）
• VEC_INF_CONFIG_DIR：自定义配置目录路径

这种设计让用户可以将常用设置一次性配置好，后续使用更加便捷。

vec-inf提供了直观的命令行界面，最常用的命令是launch，用于部署模型推理服务：

vec-inf launch Meta-Llama-3.1-8B-Instruct

执行成功后，用户会看到类似以下的输出：

• 作业ID和状态
• 推理服务端点URL
• 访问所需的认证信息

用户可以通过命令行参数覆盖默认配置，例如：

vec-inf launch Meta-Llama-3.1-8B-Instruct --num-gpus 2 --max-model-len 8192

支持的参数包括GPU数量、模型上下文长度、批处理大小等，满足不同的性能和资源需求。