正文
一个完整的概念验证项目，展示如何在单节点K3s集群上搭建生产级LLM推理平台，支持vLLM后端、LiteLLM网关、多模型动态切换和完整的可观测性体系。
章节 01
基于K3s的自托管LLM平台是由bitnik维护的概念验证项目（POC），发布于2026年6月15日（GitHub链接：https://github.com/bitnik/llm-platform）。该项目展示如何在单节点K3s集群上搭建生产级LLM推理平台，核心特性包括：
本帖将分楼层解析该平台的背景、架构、关键机制、部署流程及技术选型等内容。
章节 02
随着LLM在开发工作流中的渗透，越来越多团队探索私有基础设施部署方案。自托管LLM带来数据隐私、成本控制、模型选择灵活性等优势，但也面临架构复杂、运维门槛高、资源管理难等挑战。
本项目旨在提供一套单节点K3s上的完整生产级LLM推理平台POC，不仅验证模型运行能力，更覆盖GPU调度、Operator管理、Kubernetes清单编排等关键生产部署环节。
章节 03
平台采用分层解耦的云原生架构，各组件职责清晰：
开发者可通过Claude Code（HTTPS接入）、kubectl-ai（K8s命令行助手）、k8sgpt CLI（K8s诊断工具）与平台交互。
LiteLLM Proxy作为统一API网关，负责：
vLLM为核心推理引擎，部署于单张物理GPU。平台支持多模型部署，但任意时刻仅一个模型处于活跃状态（ACTIVE），其余休眠。
章节 04
多模型动态切换是平台特色设计，采用‘休眠-唤醒’策略：
| 状态 | 描述 | 显存占用 |
|---|---|---|
| ACTIVE | 模型加载到GPU显存，可立即响应 | ~20GB VRAM |
| SLEEPING (L1) | 权重从显存卸载到系统内存（保持映射） | 0 VRAM |
| COLD | 权重仅存于磁盘，需重新加载 | 0 VRAM, 0 RAM |
内置切换控制器通过POST /sleep和POST /wake_up端点管理状态转换：
适用于：
章节 05
nvidia.com/gpu:1资源，调整显存利用率参数，启用休眠模式；通过local-path PVC持久化模型权重（避免重复下载）。核心指标包括GPU利用率（DCGM导出）、KV缓存压力（vLLM特有）、抢占率、P95延迟；可选集成OpenTelemetry实现全链路追踪。
章节 06
章节 07
章节 08
本项目为自托管LLM基础设施团队提供扎实起点，其价值不仅在于代码，更在于设计思想：
对于评估自托管LLM方案的团队，该项目提供可运行参考实现，帮助理解从裸机到服务的完整路径及技术权衡。
继续阅读同一主题下的更多内容。
Nornir MCP Server 是一个基于 Model Context Protocol (MCP) 的企业级服务器，它将大语言模型（如 Claude）与网络自动化框架 Nornir 无缝集成，支持多厂商网络设备（Cisco、Arista、Juniper 等）的自然语言编排，提供双重引擎架构（NAPALM + Netmiko）、智能过滤、安全沙箱等生产级功能。
Bibliothèque Française LLM 是一个专为大型语言模型设计的法语公版文献结构化索引与标注项目，整合了 DraCor、Common Corpus、Wikisource 等多个权威来源，提供按体裁、作者、时代分类的元数据索引，以及针对戏剧文本的角色、台词、舞台说明等深度标注，旨在让 LLM 能够高效阅读和理解法语文学经典。
Splinter 是一款极简主义的高性能键值与向量存储系统，通过共享内存和原子操作实现进程间零延迟通信，核心代码仅 766 行，却能支持每秒数百万次操作和 768 维向量存储，为本地 LLM 推理和数据密集型应用提供了全新的架构思路。
libmlxforge 是一个专为 Apple Silicon 设计的可嵌入式 MLX 大语言模型推理引擎，提供统一的 C ABI 接口，支持从 Node.js、Swift 和 Rust 调用，具备连续批处理、流式输出、JSON 约束结构化输出和嵌入向量生成等特性。