# AIKit：开源大语言模型的本地部署与微调一站式平台

> AIKit 是一个综合性的开源 LLM 平台，支持推理、微调和 OCI 打包三大核心能力。基于 LocalAI 提供 OpenAI 兼容 API，集成 Unsloth 实现高效微调，并支持将模型打包为 OCI 制品进行分发。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-04-06T04:31:09.000Z
- 最近活动: 2026-04-06T04:53:45.082Z
- 热度: 159.6
- 关键词: llm, inference, finetune, localai, unsloth, oci, kubernetes, docker
- 页面链接: https://www.zingnex.cn/forum/thread/aikit
- Canonical: https://www.zingnex.cn/forum/thread/aikit
- Markdown 来源: ingested_event

---

## 项目概述

AIKit 是一个旨在简化开源大语言模型（LLM）托管、部署、构建和微调的综合平台。它提供三大核心能力：

1. **推理**：基于 LocalAI 提供广泛的推理能力和格式支持，提供与 OpenAI API 兼容的 REST API
2. **微调**：提供可扩展的微调接口，支持 Unsloth 实现快速、内存高效且易于使用的微调体验
3. **OCI 打包**：将模型打包为 OCI 制品，通过任何 OCI 兼容的注册表进行分发，支持 CNCF ModelPack 规范

## 核心特性

AIKit 的设计哲学是简单性和可移植性：

- **无需 GPU**：除 Docker 或 Podman 外，无需 GPU、互联网访问或额外工具即可运行
- **最小镜像**：使用自定义 chiseled 镜像，减少漏洞和攻击面
- **声明式配置**：为推理和微调提供易于使用的声明式配置
- **OpenAI API 兼容**：可与任何 OpenAI API 兼容的客户端配合使用
- **多模态支持**：支持视觉模型
- **图像生成**：支持扩散模型进行图像生成
- **多模型支持**：单个镜像可托管多个模型
- **跨平台**：支持 AMD64 和 ARM64 CPU，以及 NVIDIA GPU 加速推理
- **供应链安全**：通过 SBOM、来源证明和签名镜像确保供应链安全
- **离线环境**：支持气隙环境，可使用自托管、本地或任何远程容器注册表存储模型镜像

## 快速开始

### 本地运行（无需 GPU）

```bash
docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/llama3.1:8b
```

运行后访问 http://localhost:8080/chat 即可使用 WebUI。

### API 调用示例

```bash
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "用一句话解释 Kubernetes"}]
  }'
```

## 预置模型列表

AIKit 提供多种预置模型镜像，开箱即用：

### CPU/GPU 通用模型

| 模型 | 优化类型 | 参数量 | 命令 | 模型名称 | 许可证 |
|------|----------|--------|------|----------|--------|
| Llama 3.2 | Instruct | 1B | `ghcr.io/kaito-project/aikit/llama3.2:1b` | llama-3.2-1b-instruct | Llama |
| Llama 3.2 | Instruct | 3B | `ghcr.io/kaito-project/aikit/llama3.2:3b` | llama-3.2-3b-instruct | Llama |
| Llama 3.1 | Instruct | 8B | `ghcr.io/kaito-project/aikit/llama3.1:8b` | llama-3.1-8b-instruct | Llama |
| Llama 3.3 | Instruct | 70B | `ghcr.io/kaito-project/aikit/llama3.3:70b` | llama-3.3-70b-instruct | Llama |
| Mixtral | Instruct | 8x7B | `ghcr.io/kaito-project/aikit/mixtral:8x7b` | mixtral-8x7b-instruct | Apache |
| Phi 4 | Instruct | 14B | `ghcr.io/kaito-project/aikit/phi4:14b` | phi-4-14b-instruct | MIT |
| Gemma 2 | Instruct | 2B | `ghcr.io/kaito-project/aikit/gemma2:2b` | gemma-2-2b-instruct | Gemma |
| QwQ | - | 32B | `ghcr.io/kaito-project/aikit/qwq:32b` | qwq-32b | Apache 2.0 |
| Codestral 0.1 | Code | 22B | `ghcr.io/kaito-project/aikit/codestral:22b` | codestral-22b | MNLP |
| GPT-OSS | - | 20B | `ghcr.io/kaito-project/aikit/gpt-oss:20b` | gpt-oss-20b | Apache 2.0 |
| GPT-OSS | - | 120B | `ghcr.io/kaito-project/aikit/gpt-oss:120b` | gpt-oss-120b | Apache 2.0 |

### GPU 专用模型（带图像生成）

| 模型 | 优化类型 | 参数量 | 命令 | 模型名称 | 许可证 |
|------|----------|--------|------|----------|--------|
| Flux 1 Dev | Text to image | 12B | `ghcr.io/kaito-project/aikit/flux1:dev` | flux-1-dev | FLUX.1 [dev] Non-Commercial |

启用 GPU 加速只需在命令中添加 `--gpus all`。

### Apple Silicon 支持

AIKit 也支持 Apple Silicon（实验性），使用 Podman：

```bash
podman run -d --rm --device /dev/dri -p 8080:8080 \
  ghcr.io/kaito-project/aikit/applesilicon/llama3.2:1b
```

注意：Apple Silicon 运行时仅支持 gguf 模型。

## 架构设计

### 推理架构

AIKit 使用 LocalAI 作为推理后端，提供以下能力：

- **广泛的格式支持**：支持 GGUF（llama.cpp）和 GGML（llama-ggml）模型
- **OpenAI API 兼容**：可作为 OpenAI API 的即插即用替代品
- **多模型并发**：单个容器可托管多个模型
- **自动优化**：根据 CPU 能力自动选择最优化的指令集

### 微调架构

AIKit 的微调功能基于 Unsloth 构建：

- **内存高效**：相比标准微调显著降低显存需求
- **速度快**：优化的训练循环提供更快的微调速度
- **易于使用**：声明式配置简化微调流程
- **可扩展**：可扩展接口支持自定义微调需求

### OCI 打包

AIKit 支持将模型打包为 OCI 制品：

- **标准兼容**：支持 CNCF ModelPack 规范
- **通用注册表**：可通过任何 OCI 兼容的注册表分发
- **版本控制**：利用容器注册表的版本管理能力
- **气隙支持**：支持离线环境的模型分发

## 声明式配置

AIKit 使用声明式 YAML 配置定义推理和微调任务：

### 推理配置示例

```yaml
apiVersion: aikit.io/v1alpha1
kind: Inference
metadata:
  name: my-inference
spec:
  models:
    - name: llama-3.1-8b
      source: ghcr.io/kaito-project/aikit/llama3.1:8b
  resources:
    gpu:
      enabled: true
```

### 微调配置示例

```yaml
apiVersion: aikit.io/v1alpha1
kind: FineTune
metadata:
  name: my-finetune
spec:
  baseModel: llama-3.1-8b
  dataset:
    source: /path/to/dataset
  output:
    modelName: my-custom-model
  resources:
    gpu:
      enabled: true
```

## Kubernetes 部署

AIKit 原生支持 Kubernetes 部署：

```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: aikit-llama
spec:
  replicas: 1
  selector:
    matchLabels:
      app: aikit-llama
  template:
    metadata:
      labels:
        app: aikit-llama
    spec:
      containers:
      - name: aikit
        image: ghcr.io/kaito-project/aikit/llama3.1:8b
        ports:
        - containerPort: 8080
        resources:
          limits:
            nvidia.com/gpu: 1
```

## 安全特性

AIKit 重视供应链安全：

- **SBOM**：每个镜像都附带软件物料清单
- **来源证明**：提供构建来源证明
- **镜像签名**：镜像经过加密签名
- **Chiseled 镜像**：最小化攻击面
- **漏洞扫描**：减少已知漏洞

## 与 Kaito 的关系

AIKit 是 Kaito（Kubernetes AI Toolchain Operator）项目的一部分。Kaito 旨在简化在 Kubernetes 上运行 AI 工作负载的体验，AIKit 提供了底层的模型推理和微调能力。

## 适用场景

- **本地开发**：无需 GPU 即可在本地测试 LLM 应用
- **边缘部署**：轻量级镜像适合边缘计算场景
- **私有部署**：完全本地运行，无需云端 API
- **模型微调**：快速微调开源模型适应特定领域
- **模型分发**：通过 OCI 注册表标准化模型分发
- **Kubernetes 工作负载**：原生支持容器编排

## 总结

AIKit 提供了一个完整的开源 LLM 生命周期管理平台，从推理到微调再到分发，覆盖了模型使用的全流程。其 OpenAI API 兼容性使得现有应用可以无缝迁移，而声明式配置和容器化设计则简化了运维复杂性。对于希望在本地或私有云中部署和管理开源 LLM 的团队，AIKit 是一个功能完备且易于上手的选择。