AINode：一键将NVIDIA GPU变身本地AI平台的容器化方案

AINode是一个面向NVIDIA GB10（DGX Spark、ASUS GX10）及各类GPU设备的自托管AI平台，通过单一容器实现推理、微调、集群自动发现和多节点分布式计算，让本地AI部署像Docker一样简单。

随着大语言模型（LLM）的快速发展，越来越多的开发者和企业希望在本地环境中运行AI工作负载。然而，传统的本地AI部署往往面临诸多挑战：

• 环境配置复杂：需要手动安装Python虚拟环境、CUDA驱动、vLLM等依赖
• 多节点协调困难：跨机器的分布式推理需要复杂的网络配置和手动协调
• 模型管理混乱：多个节点上的模型文件重复下载，浪费存储空间
• 微调门槛高：LoRA、QLoRA等微调技术需要深入的技术知识

AINode项目正是为了解决这些问题而生，它提供了一种"一键式"的本地AI平台部署方案。

AINode是一个自托管AI设备平台，专为NVIDIA GB10（包括NVIDIA DGX Spark和ASUS GX10）以及任何配备NVIDIA GPU的设备设计。它采用容器化架构，将所有必要的组件打包到一个Docker镜像中。

AINode的单一容器包含以下完整功能栈：

1. 现代化Web界面：提供聊天、集群拓扑可视化、服务器控制台、模型下载和训练管理等功能
2. OpenAI兼容API：完整支持 /v1/chat/completions、/v1/completions、/v1/embeddings 等标准端点
3. GB10定制版vLLM：集成Ray框架，支持跨节点的张量并行和流水线并行推理
4. UDP节点自动发现：新节点加入网络后自动被集群发现，无需手动配置
5. NFS共享模型存储：模型只需下载一次，整个集群共享使用
6. 脚本化微调支持：内置LoRA、QLoRA、全量微调、DPO以及分布式DDP训练模板

AINode的安装过程被简化到极致，只需一条命令：

curl -fsSL https://ainode.dev/install | bash

这条命令会自动完成以下操作：

• 拉取最新的Docker镜像
• 配置systemd服务单元
• 启动AINode服务

无需手动配置Python虚拟环境，无需从源码编译vLLM，也无需处理脆弱的运行时依赖。

在单节点模式下，AINode作为一个完整的AI推理和训练平台运行。用户通过浏览器访问3000端口即可使用所有功能。系统会自动检测GPU型号和显存容量，智能推荐可运行的模型。

Web界面包含以下核心模块：

• 聊天界面：支持流式输出、提示词历史、代码高亮，以及每消息的TTFT（首个token时间）、生成速度等性能指标
• 开发者控制台：实时显示已加载模型、API端点信息、请求日志和延迟统计
• 模型下载中心：浏览HuggingFace热门模型，根据集群总显存自动计算"可用"和"适配"状态
• 训练管理：支持LoRA（轻量级微调）、分布式DDP（多节点训练）、全量微调三种模式

AINode的分布式能力是其最大亮点。通过UDP广播实现节点自动发现，配合Ray框架实现跨节点的张量并行推理。

双节点配置示例

假设有两台DGX Spark设备，通过直连QSFP线缆在同一/24子网内通信：

成员节点配置（~/.ainode/config.json）：

{
  "distributed_mode": "member",
  "cluster_interface": "enp1s0f0np0",
  "ssh_user": "sem"
}

主节点配置：

{
  "distributed_mode": "head",
  "peer_ips": ["10.0.0.2"],
  "cluster_interface": "enp1s0f0np0",
  "ssh_user": "sem"
}

配置完成后，主节点的Web界面会显示集群状态："2 nodes · 244 GB · 2 GPUs"，并标注实例为"DISTRIBUTED · TP=2"，表示模型已被分片到两块GPU上。

网络要求

项目文档坦诚地指出了分布式部署的网络要求：

• 必须使用专用物理链路或独立交换机：社区方案常假设三角形网状拓扑（A↔B, B↔C, A↔C），但AINode推荐使用专用集群交换机或直连线缆
• 单网卡单子网：多网卡配置会导致NCCL（NVIDIA集合通信库）在建立通信环时产生歧义
• 避免Tailscale等Overlay网络：Ray over Tailscale目前不被支持，建议使用物理线缆或专用交换机

AINode内置了多种微调模板，降低了模型定制的技术门槛：