Isambard-vLLM：让HPC算力触手可及的大模型推理工具

一个CLI工具，让开发者能在本地轻松管理Isambard AI超算上的vLLM推理任务，通过SSH隧道将远程GPU资源暴露为本地OpenAI兼容API。

高性能计算（HPC）集群拥有海量GPU资源，但普通开发者往往望而却步。复杂的作业调度系统（如SLURM）、环境配置、远程连接等问题构成了高高的技术门槛。对于想要运行大语言模型（LLM）推理任务的研究者和开发者来说，如何便捷地利用这些强大的计算资源一直是个难题。

isambard-vllm 是一个命令行工具，专门设计用于在本地机器上管理Isambard AI超算集群上的vLLM推理任务。它巧妙地桥接了本地开发环境与远程HPC资源之间的鸿沟，让用户能够以最小的配置开销，在超级计算机上运行大模型推理服务。

这个工具的工作流程设计得非常优雅。当你在本地运行 ivllm start 时，它会自动完成以下一系列复杂操作：

首先，它通过SSH连接到Isambard AI的登录节点，检查环境并确保vLLM已正确安装。然后，它读取你提供的YAML配置文件，自动从HuggingFace下载所需的模型到共享缓存中。接着，它生成SLURM作业脚本并提交到计算节点队列。

一旦作业开始运行，工具会建立一个SSH正向隧道，将远程计算节点上的vLLM服务端口映射到本地的localhost:11434。这意味着你可以像访问本地服务一样，通过标准的OpenAI兼容API端点与运行在超算GPU上的大模型进行交互。

整个架构可以概括为：本地机器 → SSH隧道 → 登录节点 → SLURM作业 → 计算节点上的vLLM服务。

使用这个工具的第一步是进行一次性配置。通过 ivllm config 命令，你可以设置登录节点地址、用户名、项目目录、本地端口和vLLM版本等信息。这些配置会保存在 ~/.config/ivllm/config.json 中，后续使用无需重复输入。

模型的配置通过YAML文件完成。以下是一个典型的配置示例：

model: Qwen/Qwen2.5-7B-Instruct
tensor-parallel-size: 1
max-model-len: 32768
gpu-memory-utilization: 0.90
dtype: bfloat16
enable-auto-tool-choice: true
tool-call-parser: hermes
enable-prefix-caching: true

这个配置文件指定了模型名称、张量并行度、最大序列长度、GPU内存利用率等关键参数。保存好配置文件后，只需运行 ivllm start my-job --config vllm.yaml 即可启动服务。

这个项目的一个亮点是它提供了与主流AI编程工具的深度集成能力。通过配置OpenCode等Agent工具，你可以直接将Isambard超算上的模型作为后端服务使用。配置文件中只需指定本地端点地址 http://localhost:11434/v1 和任意API密钥即可。

此外，项目还提供了一个Agent Skill，可以帮助AI编程助手（如Cursor、Claude、Windsurf等）自动生成优化的vLLM配置文件。只需告诉AI你想要运行的模型名称，它就能帮你生成适合Isambard硬件环境的配置。

对于需要访问权限的模型（gated models），工具支持通过环境变量 HF_TOKEN 传递HuggingFace访问令牌。值得注意的是，令牌仅用于登录节点的模型下载步骤，不会被写入磁盘或嵌入到任何生成的脚本中，确保了凭证的安全性。

项目提供了丰富的管理命令。ivllm status 可以查看所有已知作业的状态，ivllm stop 则能优雅地终止SLURM作业、关闭隧道并清理锁文件。如果启动过程中出现异常退出，这些命令可以帮助你恢复干净的状态。

对于想要预览操作而不实际执行的用户，--dry-run 参数可以生成SLURM脚本和配置文件到本地临时目录，并打印所有SSH和scp命令供检查，而不会真正连接到HPC。