vLLM-GB10项目为NVIDIA DGX Spark（GB10）提供了完全可复现的Docker镜像，通过SHA锁定所有依赖项，确保构建的确定性和可重复性。

拉取镜像

docker pull ghcr.io/timothystewart6/vllm-gb10:v0.20.1-gb10.0\n\n\n### 运行模型（单节点Spark）\n\nbash docker run --rm -it \ --gpus all \ --ipc=host \ --network host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ ghcr.io/timothystewart6/vllm-gb10:v0.20.1-gb10.0 \ vllm serve \ --host 0.0.0.0 \ --port 8000 \ --gpu-memory-utilization 0.7 \n\n### 关键参数说明\n\n- `--gpus all`：启用所有可用的GPU\n- `--ipc=host`：共享主机的IPC命名空间，支持NCCL\n- `--network host`：使用主机网络栈，减少网络开销\n- `-v ~/.cache/huggingface`：挂载Hugging Face模型缓存\n- `--gpu-memory-utilization 0.7`：限制GPU内存使用率为70%，为其他进程预留空间\n\n## 开发与维护流程\n\n### 更新依赖\n\n项目提供了自动化的依赖更新流程：\n\nbash

编辑versions.env，然后执行：

bash scripts/bump.sh # 解析新的SHA，重新生成锁文件\n\n# 提交变更\ngit add versions.env locks/\ngit commit -m "chore(deps): bump ..."\ngit push ```\n\n### CI/CD集成\n\n项目在以下文件变更时自动触发CI：\n\n- versions.env - 依赖版本声明\n- Dockerfile - 构建配置\n- locks/ - 锁文件目录\n- scripts/ - 构建脚本\n- checksums/ - 校验文件\n\n成功的构建会自动发布更新的镜像标签。\n\n## 技术价值与应用场景\n\n### 科学研究\n\n对于AI研究人员，vLLM-GB10提供了：\n\n- 实验可重复性：相同的代码和模型产生相同的结果\n- 环境隔离：Docker容器确保实验环境的一致性\n- 版本追溯：通过Git历史可以精确重建任何历史环境\n\n### 工业部署\n\n在工业场景中，项目价值体现在：\n\n- 确定性行为：相同的输入产生相同的输出\n- 审计追踪：每个镜像都可以追溯到具体的源代码版本\n- 合规性：满足对软件供应链安全性的监管要求\n\n### 边缘AI开发\n\n对于DGX Spark开发者：\n\n- 即用即走：预构建镜像节省编译时间\n- 优化配置：针对GB10架构的特殊优化\n- 社区支持：开源项目便于问题反馈和功能扩展\n\n## 与标准vLLM的区别\n\nvLLM-GB10与标准vLLM的主要区别在于：\n\n1. 架构优化：针对Blackwell架构（sm_121a）的特殊优化\n2. 依赖锁定：所有依赖项都精确锁定到具体版本\n3. 构建流程：自动化的版本管理和CI/CD流程\n4. 标签策略：明确的版本命名和不可变标签\n\n## 未来发展方向\n\n基于项目的开源性质和社区驱动特性，未来可能的发展方向包括：\n\n1. 多架构支持：扩展到其他NVIDIA边缘设备\n2. 模型优化：针对特定模型的性能优化\n3. 监控集成：集成Prometheus等监控工具\n4. 量化支持：添加INT8/INT4量化推理支持\n\n## 结语\n\nvLLM-GB10项目通过其严谨的确定性构建流程，为NVIDIA DGX Spark用户提供了一个可靠、可重复的LLM推理解决方案。在AI技术快速发展的今天，这种对构建确定性的追求不仅体现了工程严谨性，更为科学研究和工业应用提供了坚实的基础。\n\n对于正在使用或计划使用DGX Spark进行边缘AI开发的团队而言，vLLM-GB10无疑是一个值得关注和采用的开源项目。

引言：边缘AI推理的新挑战\n\n随着NVIDIA DGX Spark（代号GB10）的发布，边缘AI推理进入了一个新时代。这款专为边缘部署设计的AI超级计算机，为开发者带来了在本地运行大型语言模型（LLM）的全新可能。然而，边缘环境的特殊性也带来了新的挑战——如何在资源受限的环境中确保推理服务的一致性和可重复性？\n\nvLLM-GB10项目正是为解决这一问题而生。本文将深入解析这个开源项目，探讨其如何通过完全确定的构建流程，为DGX Spark提供可靠的vLLM推理服务。\n\n项目背景：NVIDIA DGX Spark与边缘AI\n\nDGX Spark简介\n\nNVIDIA DGX Spark（GB10）是NVIDIA推出的边缘AI计算平台，其核心特点包括：\n\n- 紧凑设计：专为边缘部署优化的物理形态\n- Blackwell架构：采用最新的Blackwell GPU架构（sm_121a）\n- 本地推理：支持在本地运行大型语言模型，无需依赖云端服务\n- 开发友好：适合AI开发者和研究人员的实验环境\n\n边缘推理的特殊需求\n\n与云端部署不同，边缘AI推理面临着独特的挑战：\n\n1. 资源受限：计算资源、内存和存储空间都相对有限\n2. 环境一致性：需要确保在不同设备上运行相同的结果\n3. 离线能力：可能无法随时访问互联网获取依赖\n4. 确定性要求：科学实验和工业应用需要可重复的结果\n\nvLLM-GB10：确定性构建的解决方案\n\n核心理念\n\nvLLM-GB10项目的核心理念是完全可复现的构建（Reproducible Build）。项目通过以下策略实现这一目标：\n\n1. SHA锁定：所有输入——CUDA基础镜像、PyTorch栈、NCCL、FlashInfer、vLLM——都通过commit SHA或digest精确锁定\n2. 版本声明：使用versions.env文件声明所有依赖的确切版本\n3. 锁文件机制：生成并维护依赖的锁文件，确保构建的确定性\n\n技术架构\n\n依赖项管理\n\n项目精心管理以下关键依赖：\n\n| 组件 | 锁定方式 | 用途 |\n|------|---------|------|\n| CUDA基础镜像 | Docker digest | GPU计算环境 |\n| PyTorch | Commit SHA | 深度学习框架 |\n| NCCL | Commit SHA | GPU间通信库 |\n| FlashInfer | Commit SHA | 高效注意力计算 |\n| vLLM | Commit SHA | 推理服务框架 |\n\n版本命名规范\n\n项目采用清晰的版本命名策略，每个构建发布四个标签：\n\n1. Canonical标签：v0.20.1-gb10.0\n - 标识vLLM版本和栈修订版本\n - 不可变，确保确定性\n\n2. 详细标签：v0.20.1-cu13.2-torch2.11-gb10.0\n - 额外包含CUDA和PyTorch版本信息\n - 便于快速扫描依赖版本\n\n3. Latest标签：latest\n - 可变标签，始终指向最新的成功构建\n - 适合快速体验，但不适合生产环境\n\n4. Commit标签：sha-<short_sha>\n - 与产生镜像的Git提交精确绑定\n - 便于追溯和调试\n\n版本号语义\n\ngb10.<N>版本的递增规则：\n\n- 递增条件：任何非vLLM输入发生变化时（CUDA、PyTorch、NCCL、FlashInfer等）\n- 重置条件：当VLLM_REF升级时重置为0\n- 设计意图：明确区分vLLM版本更新和依赖项更新\n\n值得注意的是，项目故意不提供裸v0.20.1标签——因为这会是可变标签，违背了确定性构建的原则。\n\n使用指南\n\n快速启动\n\n```bash

拉取镜像 docker pull ghcr.io/timothystewart6/vllm-gb10:v0.20.1-gb10.0\n\n\n运行模型（单节点Spark）\n\nbash docker run --rm -it \ --gpus all \ --ipc=host \ --network host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ ghcr.io/timothystewart6/vllm-gb10:v0.20.1-gb10.0 \