导读

beacoder/llm项目汇集RAG、GraphRAG、Agentic RAG和工具调用等LLM应用实验，基于Ollama本地部署和开源模型（Mistral、Qwen2.5），展示从基础检索增强到智能代理的完整技术演进路径，为LLM应用开发提供从入门到进阶的实践参考。

项目背景与价值

在LLM技术快速演进下，将通用能力转化为实际工具是开发者核心关注点。该项目基于个人工作站（NVIDIA RTX4070 Laptop GPU）实现可运行原型，提供“从入门到进阶”的学习路径，对深入理解LLM应用开发具有重要参考价值。同时，本地部署策略（Ollama+开源模型）适应数据隐私敏感、API成本高或网络受限场景，是当前AI开发的重要趋势。

技术选型与实验方法

技术选型

• Ollama：本地LLM运行时，无需云API
• 开源模型：Mistral（7B）、Qwen2.5（7B），适配消费级GPU
• Streamlit：快速构建交互式Web界面
• Python虚拟环境：严格依赖管理确保可复现

实验方法

每个实验遵循结构化流程：

1. 环境准备：虚拟环境创建与依赖安装
2. 数据/配置：明确来源与要求
3. 运行指令：可复制执行命令
4. 已知问题：记录失败案例与局限性
5. 结果展示：截图直观呈现效果

各实验架构：

• 基础RAG：nomic-embed-text嵌入模型+本地向量存储+Ollama调用模型
• GraphRAG：graphrag_index构建图谱，支持局部/全局查询（全局查询暂未工作）
• Agentic RAG：多步推理、动态决策、工具交互
• 工具调用：local_tools（本地执行）、docker_tools（Docker隔离）

实验结果与关键发现

• GraphRAG局限：全局查询因代码问题无法工作，作者坦诚记录失败案例
• Agentic RAG表现：多数情况下优于GraphRAG，能处理中文查询（如《金瓶梅》人物关系问题）
• 工具调用案例：生成扫雷游戏完整代码（HTML/CSS/JS），支持Docker隔离确保多用户安全
• 环境适配：7B模型在8GB显存消费级GPU上流畅运行

项目启示与技术趋势

• LLM应用正从“提示工程”向“架构工程”演进，需掌握检索、记忆、规划、工具使用等组合技术
• 开源生态力量显著：Ollama、LangChain、GraphRAG等工具组合，使个人开发者能构建复杂AI系统
• 本地部署开源模型成为重要选项，适配多种场景需求

学习与实践建议

1. 跟随项目实验路径（基础RAG→GraphRAG→Agentic RAG→工具调用），逐步建立LLM应用架构的系统性理解
2. 重视实验方法论：记录环境配置、已知问题，确保可复现性
3. 保持实验精神：通过动手实践理解技术原理，关注失败案例的教育价值
4. 关注开源工具生态，利用组合优势降低开发门槛