零成本搭建本地RAG系统：Ollama+LangChain+ChromaDB实战指南

本文介绍GitHub上mansi084维护的RAG-POC-with-Ollama项目，手把手教你使用Ollama、LangChain和ChromaDB构建完全本地化的RAG文档问答系统。该系统无需API费用，数据完全本地存储，保护隐私，适合个人开发者、初创团队及重视数据安全的场景。

云端RAG方案依赖外部API，存在三大问题：

1. 成本：按token计费，大规模应用费用可观；
2. 隐私：敏感数据上传第三方，有泄露风险；
3. 可用性：受网络和服务商稳定性限制。

本地化RAG方案解决这些问题：零API成本、数据不出本机、离线可用。

• Ollama：本地LLM运行引擎，简化开源模型（如Llama2、Mistral）的下载与运行，负责文本嵌入和答案生成，保障数据隐私；
• LangChain：RAG流程编排框架，提供文档加载、分割、向量存储、检索等工具，项目核心逻辑封装在rag_service.py；
• ChromaDB：轻量级嵌入式向量数据库，无需独立服务器，本地存储文档向量（my_database目录）。

文档处理阶段：

1. 加载documents目录的文档；
2. 提取文本内容；
3. 分割长文档为片段；
4. 用Ollama嵌入模型向量化；
5. 存入ChromaDB建立索引。

问答阶段：

1. 问题向量化；
2. 相似度检索相关片段；
3. 构建上下文；
4. 调用Ollama生成答案。

环境准备：

1. 安装Ollama；
2. 下载模型（如ollama pull llama2）；
3. 安装依赖：pip install -r requirements.txt。

启动服务：

• 运行Ollama服务：ollama serve；
• 启动应用：python app.py。

使用：

• 放入文档到documents目录自动索引；
• 通过Web界面提问获取答案。

1. 完全零成本：仅消耗本地计算资源，无API费用；
2. 模块化设计：loaders/factories目录实现组件解耦，易扩展；
3. 配置驱动：config.yaml集中管理参数，灵活调整；
4. 可扩展架构：支持添加多轮对话、多文档检索等功能。

应用场景：

• 个人知识库（电子书、笔记查询）；
• 企业内部文档（技术手册、会议纪要）；
• 学习辅助（课程资料问答）；
• 代码文档查询（项目上手支持）。

局限性：

• 本地模型性能可能不及商用模型；
• 大文档库需较强硬件；
• 缺乏多模态、实时协作等高级功能。

改进方向：添加对话记忆、增量索引、更多文档格式支持等。

RAG-POC-with-Ollama项目展示了开源工具组合的强大能力，实现零成本、隐私保护的本地RAG系统。随着开源模型进步，本地AI方案的性能和易用性将持续提升，值得开发者关注与尝试。