llm-dock：用Docker Compose轻松管理本地大模型推理服务

探索llm-dock项目如何简化本地LLM部署流程，通过Docker Compose一键启动多种开源模型服务，让开发者和爱好者快速搭建私有AI基础设施。

随着开源大语言模型的蓬勃发展，越来越多的开发者和企业希望在自己的基础设施上运行LLM服务。相比调用云端API，本地部署具有数据隐私、成本控制、离线可用等显著优势。

然而，本地LLM部署历来是一项技术门槛较高的工作：

• 环境配置复杂：CUDA、cuDNN、PyTorch版本兼容性问题层出不穷
• 模型下载繁琐：数十GB的权重文件需要可靠的分发渠道
• 服务管理困难：启动、停止、监控多个模型服务缺乏统一工具
• 资源调度挑战：GPU显存管理、并发请求处理需要专业知识

llm-dock项目正是为了解决这些痛点而生，它通过Docker Compose将LLM推理服务容器化，让用户可以用几条命令就搭建起完整的本地模型服务栈。

llm-dock选择Docker作为技术基础，带来了多重好处：

环境隔离 每个模型服务运行在独立的容器中，拥有独立的依赖环境。这意味着你可以同时运行基于不同PyTorch版本、不同CUDA版本的模型，互不干扰。

可移植性 配置好的服务栈可以轻松迁移到任何支持Docker的机器——从个人笔记本到服务器集群，从x86到ARM架构。

版本管理 通过Docker镜像标签，可以精确控制使用的模型版本和推理框架版本，便于回滚和复现。

资源可控 Docker的资源限制机制让你可以精确控制每个服务可用的CPU、内存和GPU资源，避免某个服务独占全部算力。

Docker Compose允许用声明式YAML文件定义多容器应用。llm-dock利用这一特性，将复杂的LLM服务栈简化为可读的配置文件：

services:
  llama-3-8b:
    image: ghcr.io/llm-dock/llama3:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

这种声明式配置远比手动编写启动脚本更清晰、更易维护。

llm-dock预置了对主流开源模型的支持：

模型家族	支持规模	推荐显存	特点
Llama 3	8B, 70B	6GB-40GB	Meta开源，性能优异
Mistral	7B, 8x7B	6GB-48GB	欧洲团队，效率出色
Qwen	7B, 72B	6GB-40GB	中文优化，多语言强
Gemma	2B, 7B	4GB-8GB	Google出品，轻量级
Phi-3	3B, 7B	4GB-8GB	微软小模型，性价比高

项目支持多种推理引擎，适应不同场景需求：

vLLM

• 适合高并发场景
• PagedAttention优化吞吐量
• OpenAI兼容API格式

Ollama

• 适合快速原型开发
• 模型管理便捷
• 支持Modelfile自定义

llama.cpp

• 适合CPU推理
• GGUF格式支持
• 量化选项丰富

TGI (Text Generation Inference)

• HuggingFace出品
• 生产级特性（张量并行、连续批处理）
• 完善的监控指标

llm-dock的典型使用流程极为简洁：

# 克隆项目
git clone https://github.com/teo-mateo/llm-dock.git
cd llm-dock

# 选择要启动的模型
cp profiles/llama-3-8b.yaml docker-compose.yml

# 启动服务
docker-compose up -d

# 查看日志
docker-compose logs -f

# 测试API
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3","messages":[{"role":"user","content":"Hello"}]}'

整个过程不需要手动安装PyTorch、配置CUDA，也不需要编写复杂的启动脚本。

llm-dock采用分层镜像设计：

基础层（Base Image）

• 包含CUDA运行时、Python环境
• 安装常用推理框架
• 体积较大但可复用

模型层（Model Image）

• 基于基础层构建
• 包含特定模型的权重文件
• 或者通过volume挂载外部模型

配置层（Config Layer）

• 运行时配置（环境变量、启动参数）
• 通过docker-compose.yml定义
• 无需重新构建镜像即可调整