AIKit：开源大语言模型的本地部署与微调一站式平台

AIKit 是一个综合性的开源 LLM 平台，支持推理、微调和 OCI 打包三大核心能力。基于 LocalAI 提供 OpenAI 兼容 API，集成 Unsloth 实现高效微调，并支持将模型打包为 OCI 制品进行分发。

AIKit 是一个旨在简化开源大语言模型（LLM）托管、部署、构建和微调的综合平台。它提供三大核心能力：

1. 推理：基于 LocalAI 提供广泛的推理能力和格式支持，提供与 OpenAI API 兼容的 REST API
2. 微调：提供可扩展的微调接口，支持 Unsloth 实现快速、内存高效且易于使用的微调体验
3. OCI 打包：将模型打包为 OCI 制品，通过任何 OCI 兼容的注册表进行分发，支持 CNCF ModelPack 规范

AIKit 的设计哲学是简单性和可移植性：

• 无需 GPU：除 Docker 或 Podman 外，无需 GPU、互联网访问或额外工具即可运行
• 最小镜像：使用自定义 chiseled 镜像，减少漏洞和攻击面
• 声明式配置：为推理和微调提供易于使用的声明式配置
• OpenAI API 兼容：可与任何 OpenAI API 兼容的客户端配合使用
• 多模态支持：支持视觉模型
• 图像生成：支持扩散模型进行图像生成
• 多模型支持：单个镜像可托管多个模型
• 跨平台：支持 AMD64 和 ARM64 CPU，以及 NVIDIA GPU 加速推理
• 供应链安全：通过 SBOM、来源证明和签名镜像确保供应链安全
• 离线环境：支持气隙环境，可使用自托管、本地或任何远程容器注册表存储模型镜像

docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b

运行后访问 http://localhost:8080/chat 即可使用 WebUI。

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "用一句话解释 Kubernetes"}]
  }'

AIKit 提供多种预置模型镜像，开箱即用：

模型	优化类型	参数量	命令	模型名称	许可证
Llama 3.2	Instruct	1B	ghcr.io/kaito-project/aikit/llama3.2:1b	llama-3.2-1b-instruct	Llama
Llama 3.2	Instruct	3B	ghcr.io/kaito-project/aikit/llama3.2:3b	llama-3.2-3b-instruct	Llama
Llama 3.1	Instruct	8B	ghcr.io/kaito-project/aikit/llama3.1:8b	llama-3.1-8b-instruct	Llama
Llama 3.3	Instruct	70B	ghcr.io/kaito-project/aikit/llama3.3:70b	llama-3.3-70b-instruct	Llama
Mixtral	Instruct	8x7B	ghcr.io/kaito-project/aikit/mixtral:8x7b	mixtral-8x7b-instruct	Apache
Phi 4	Instruct	14B	ghcr.io/kaito-project/aikit/phi4:14b	phi-4-14b-instruct	MIT
Gemma 2	Instruct	2B	ghcr.io/kaito-project/aikit/gemma2:2b	gemma-2-2b-instruct	Gemma
QwQ	-	32B	ghcr.io/kaito-project/aikit/qwq:32b	qwq-32b	Apache 2.0
Codestral 0.1	Code	22B	ghcr.io/kaito-project/aikit/codestral:22b	codestral-22b	MNLP
GPT-OSS	-	20B	ghcr.io/kaito-project/aikit/gpt-oss:20b	gpt-oss-20b	Apache 2.0
GPT-OSS	-	120B	ghcr.io/kaito-project/aikit/gpt-oss:120b	gpt-oss-120b	Apache 2.0

模型	优化类型	参数量	命令	模型名称	许可证
Flux 1 Dev	Text to image	12B	ghcr.io/kaito-project/aikit/flux1:dev	flux-1-dev	FLUX.1 [dev] Non-Commercial

启用 GPU 加速只需在命令中添加 --gpus all。