基于RAG和本地LLM的智能文档问答系统实现

本文介绍了一个完整的RAG（检索增强生成）文档问答系统，使用FAISS向量数据库、Sentence Transformers嵌入模型和Ollama本地大语言模型，实现PDF文档的智能问答功能。

• 原作者: Ankita Dnyanoba Shinde
• 来源平台: GitHub
• 原始标题: Question_Answering_System_Using_RAG_LLM
• 原始链接: https://github.com/theankita/Question_Answering_System_Using_RAG_LLM
• 发布时间: 2026年5月27日

在人工智能快速发展的今天，如何让大语言模型能够准确回答基于特定文档内容的问题，而不是产生"幻觉"，是一个重要的技术挑战。本文介绍的开源项目提供了一个完整的解决方案：一个基于检索增强生成（RAG）架构的智能文档问答系统，完全在本地运行，无需依赖云端API。

这个系统允许用户上传PDF文档，然后基于文档内容提出问题。系统会从文档中检索最相关的段落，并使用本地运行的大语言模型生成准确的答案。整个流程结合了向量检索的精确性和生成式AI的灵活性。

RAG架构的核心思想是将信息检索与文本生成相结合。传统的语言模型虽然知识广博，但容易产生不准确的信息。RAG通过先从知识库中检索相关上下文，再让模型基于这些上下文生成答案，大大提高了回答的准确性和可溯源性。

本项目的RAG流程如下：

1. PDF文档上传 - 用户通过Streamlit界面上传PDF文件
2. 文本提取 - 使用PyPDF2库从PDF中提取可读文本
3. 智能分块 - 将长文本分割成500字符的段落，保留100字符的重叠，确保语义连贯性
4. 嵌入生成 - 使用all-MiniLM-L6-v2模型将文本转换为密集向量表示
5. 向量存储 - 将嵌入向量存储在FAISS索引中，支持快速相似性搜索
6. 问题嵌入 - 将用户查询转换为相同的向量空间
7. 语义检索 - 在FAISS中查找最相关的文档片段
8. 上下文组合 - 将检索到的片段组合成上下文提示
9. 答案生成 - 通过Ollama调用Llama3模型生成最终答案

向量数据库：FAISS

FAISS（Facebook AI Similarity Search）是由Meta开发的高效相似性搜索库。它能够在海量向量中快速找到与查询最相似的向量，是构建RAG系统的理想选择。本项目使用FAISS的CPU版本，无需GPU即可运行。

嵌入模型：Sentence Transformers

项目采用all-MiniLM-L6-v2模型生成文本嵌入。这是一个轻量级但效果出色的句子嵌入模型，能够将语义相似的文本映射到相近的向量空间。该模型只有约80MB大小，非常适合本地部署。

本地LLM：Ollama + Llama3

Ollama是一个简化本地大语言模型运行的工具。本项目使用Llama3模型，完全在本地执行推理，无需网络连接，保护了数据隐私。通过精心设计的提示词，确保模型只基于提供的上下文回答问题，避免幻觉。

交互界面：Streamlit

Streamlit是一个快速构建数据应用的Python库。本项目使用它创建了简洁现代的Web界面，包括PDF上传、文本预览、分块统计、上下文查看和实时问答等功能。

与依赖OpenAI API或Claude等云端服务的方案不同，本系统所有组件都在本地运行。这意味着：

• 数据隐私：敏感文档不会离开本地机器
• 零API成本：无需支付按量计费的费用
• 离线可用：没有网络连接也能使用
• 可定制性：可以替换为任何兼容Ollama的模型

系统不仅仅是简单的全文搜索。通过语义嵌入和向量检索，它能够理解查询的深层含义，找到概念相关但用词不同的内容。重叠分块策略确保不会遗漏跨段落边界的上下文。

项目设计了专门的提示词模板，要求模型：

• 仅使用提供的上下文信息
• 避免生成上下文之外的猜测
• 产生结构化的清晰答案

这种设计显著降低了大语言模型"一本正经地胡说八道"的概率。