FastAPI LLM RAG Cookbook：轻量级本地RAG实现指南

本项目是基于FastAPI的轻量级本地RAG演示，支持纯本地CPU推理与向量数据库，无需调用外部LLM API即可构建完整问答系统。旨在解决现有RAG依赖外部API的成本、数据隐私及可用性风险问题，为开发者提供本地化RAG入门与学习资源。

检索增强生成（RAG）是知识型AI应用主流架构，但多数实现依赖外部API服务，存在成本高、数据隐私泄露及可用性受限等风险。本项目提供完全本地化的替代方案，消除外部依赖。

FastAPI Web服务层

作为系统入口，提供高性能异步HTTP接口，支持RESTful交互，自动生成API文档降低使用门槛。

本地嵌入模型

本地运行轻量级嵌入模型，文本转向量过程数据不出境，无调用次数与费用限制，支持CPU优化运行。

ChromaDB向量存储

负责存储文档向量并高效相似性检索，支持Docker快速启动或本地运行，适配不同环境。

本地LLM推理

通过模型量化技术实现CPU推理，消费级硬件可获得可接受响应速度，实现真正离线运行。

• 零外部依赖：全环节本地完成，保护数据隐私，避免网络延迟与API配额限制。
• CPU友好型设计：轻量模型+优化推理流程，无需GPU即可在服务器或边缘设备部署。
• 模块化可扩展：代码低耦合，可轻松替换嵌入模型、向量数据库或集成更强本地LLM。

• 企业内部知识库：处理敏感文档确保数据不出境
• 离线环境部署：无网络连接下提供AI问答能力
• RAG技术学习：理解RAG架构的教学示例
• 原型快速验证：低成本验证RAG方案可行性

项目提供详细文档与配置文件，支持Docker Compose一键启动完整环境，也可手动安装依赖后本地运行，满足不同部署需求。

作为Cookbook风格项目，不仅是代码集合，更是实践指南。帮助开发者深入理解RAG各组件，学习整合开源组件构建完整工作流，是LLM应用开发的宝贵学习资源。