LLM Sidecar：开发者的本地 AI 编程助手解决方案

一个基于 Docker 的本地 LLM 边车服务，为开发者提供 OpenAI 兼容 API，让编程工具可以免费使用本地模型完成代码生成、测试编写等日常任务，无需消耗付费 API 额度。

• 原作者/维护者：rsherman-madison-reed
• 来源平台：GitHub
• 原始标题：llm-sidecar
• 原始链接：https://github.com/rsherman-madison-reed/llm-sidecar
• 发布时间：2026年6月10日

---

随着 AI 编程助手的普及，开发者们越来越依赖 Claude、GPT-4 等云端大模型来辅助编码。然而，这些服务通常按 token 计费，开发者在处理一些相对简单的任务时——比如生成样板代码、编写单元测试、进行简单的代码重构——也会消耗宝贵的 API 调用额度。长期下来，这些"日常开销"累积成不小的成本负担。

更重要的是，许多开发者对将代码发送到云端处理存在隐私顾虑，尤其是涉及敏感业务逻辑或专有代码库时。如何在享受 AI 辅助编程便利的同时，降低成本并保护数据隐私，成为开发者社区亟待解决的问题。

LLM Sidecar 是一个开源的本地 LLM 边车服务，由 rsherman-madison-reed 开发并开源在 GitHub 上。该项目采用 Docker 容器化部署方案，在开发者本地机器上运行一个与 OpenAI API 完全兼容的代理服务。通过这一架构，开发者可以将现有的 AI 编程工具指向本地端点 http://localhost:8080/v1，从而在不修改任何工具配置的前提下，无缝切换到本地模型进行推理。

项目的核心理念是"能本地解决的就本地解决"——对于那些本地模型足以胜任的常规任务，使用免费的本地推理；只有当遇到复杂问题时，才调用付费的云端 API。这种分层策略既保证了开发效率，又显著降低了使用成本。

LLM Sidecar 的技术架构简洁而高效，由三个核心组件构成：

项目使用 Flask 构建了一个轻量级代理服务，该服务完整实现了 OpenAI API 的接口格式。这意味着任何支持 OpenAI 兼容 API 的编程工具——包括 Cursor、VS Code 的 Continue 插件、JetBrains 系列的 Continue 插件，以及 OpenCode 等——都可以零配置迁移到 LLM Sidecar。代理层负责接收来自开发工具的请求，并将其转发给底层的 Ollama 服务。

Ollama 作为模型推理引擎运行在独立的 Docker 容器中，负责加载和运行实际的代码生成模型。项目默认使用阿里巴巴开源的 Qwen2.5-Coder 系列模型，这是一个专门为代码任务优化的多语言编程大模型。

这是 LLM Sidecar 的一个亮点功能。启动时，代理会自动检测 Docker 容器的可用内存，并根据内存大小智能选择最合适的模型：

模型版本	内存需求	推荐场景
qwen2.5-coder:14b	约 9 GB	≥16 GB Docker 内存，性能最优
qwen2.5-coder:7b	约 4.5 GB	默认配置（8 GB），平衡选择
qwen2.5-coder:1.5b	约 1.5 GB	低内存设备或旧款笔记本

这种自适应机制确保了项目在各种硬件环境下都能获得最佳体验，开发者无需手动调整配置。