章节 01
导读 / 主楼：Docker AI Stack：一键部署完整本地AI技术栈的终极解决方案
一个基于Docker Compose的完整本地AI技术栈，集成Ollama、LiteLLM、Whisper、Kokoro、Embeddings和MCP Gateway，支持GPU加速，提供从语音输入到语音输出的端到端AI能力。
正文
Docker AI Stack：一键部署完整本地AI技术栈的终极解决方案
一个基于Docker Compose的完整本地AI技术栈，集成Ollama、LiteLLM、Whisper、Kokoro、Embeddings和MCP Gateway，支持GPU加速，提供从语音输入到语音输出的端到端AI能力。
Docker本地AIOllamaLiteLLM语音处理RAGMCP开源GPU加速隐私保护
章节 02
项目概述
docker-ai-stack的设计理念是"零配置"和"隐私优先"。它整合了当前最流行的开源AI服务，通过Docker容器化技术实现了服务的快速部署和隔离运行。所有核心服务都在本地运行，数据不会发送到第三方，特别适合对数据隐私有严格要求的场景。
章节 03
核心服务架构
docker-ai-stack包含六大核心服务，覆盖了从输入处理到输出生成的完整AI流水线：
章节 04
1. Ollama（大语言模型服务）
- 角色：运行本地LLM模型（如llama3、qwen、mistral等）
- 默认端口：11434
- 特点：支持多种开源模型，GPU加速推理
章节 05
2. LiteLLM（AI网关）
- 角色：统一API网关，路由请求到Ollama或100+外部提供商
- 默认端口：4000
- 特点：OpenAI兼容API格式，支持模型负载均衡和故障转移
章节 06
3. Embeddings（文本嵌入服务）
- 角色：将文本转换为向量，支持语义搜索和RAG应用
- 默认端口：8000
- 特点：本地运行，无需外部API
章节 07
4. Whisper（语音转文字）
- 角色：将语音音频转录为文本
- 默认端口：9000
- 特点：支持多语言，本地处理保护隐私
章节 08
5. Kokoro（文字转语音）
- 角色：将文本转换为自然语音
- 默认端口：8880
- 特点：高质量语音合成，支持多种音色
继续阅读
继续阅读同一主题下的更多内容。
01
02
03
04
Splinter：一款无锁零拷贝的共享内存 KV 与向量存储库，让 LLM 推理告别 socket 与 memcpy 开销
Splinter 是一款极简主义的高性能键值与向量存储系统，通过共享内存和原子操作实现进程间零延迟通信，核心代码仅 766 行，却能支持每秒数百万次操作和 768 维向量存储，为本地 LLM 推理和数据密集型应用提供了全新的架构思路。
Folkering OS：当操作系统本身就是 AI——一个能自我进化的裸机 Rust 系统
Folkering OS 是全球首个 AI 原生裸机操作系统，完全用 Rust no_std 编写，无需 Linux、POSIX 或 libc。它能在 10 秒内从零生成命令、编译为 WASM 并运行，实现真正的自我进化。
LLM-assisted-analysis：用大模型检测智能合约逻辑漏洞的新思路
该项目探索如何利用大语言模型（LLM）检测以太坊智能合约中的逻辑漏洞，特别是传统静态分析工具难以捕捉的业务逻辑缺陷，如经济操纵、执行顺序错误等。
从零构建现代LLM：一个教学级的Llama风格语言模型实现
本文介绍了一个从零开始构建现代大语言模型的开源项目，该项目从GPT-2风格的基础架构逐步演进至Llama 2/3风格的生产级实现，涵盖了RMSNorm、RoPE、SwiGLU、GQA和MoE等关键技术的完整教学实现。