Sovereign RAG：面向PDF文档分析的混合模型路由RAG系统

Sovereign RAG是一款面向PDF文档分析的高性能结构化检索增强生成（RAG）系统，核心特点包括：采用智能模型路由策略，针对文本、表格、扫描文档分别调用不同本地模型；支持完全离线运行，无数据隐私风险；仅需4GB显存即可部署，降低硬件门槛；可实现文档问答能力，适用于多种场景。

当前LLM应用普及，但现有RAG解决方案存在两大问题：一是依赖云端API导致数据隐私风险；二是需要昂贵硬件资源，难以本地部署。Sovereign RAG针对这些痛点，定位为完全本地化、低资源占用的PDF文档分析系统。

系统采用混合模型路由策略，针对不同内容类型选择最优本地模型：

• 文本查询：路由至微软Phi-3模型，兼顾推理能力与显存效率；
• 表格推理：路由至阿里巴巴Qwen2.5-3B模型，擅长结构化数据处理；
• 视觉/扫描文档：路由至LLaVA-Phi3多模态模型，可理解图像内容。

技术栈：

• 前端：Streamlit，快速搭建交互式Web界面；
• 向量数据库：LanceDB，提供高效向量检索；
• 模型管理：Ollama，简化本地模型的下载与调用。 资源优化策略：
• 模型量化：降低显存占用；
• 按需加载：动态加载所需模型；
• 高效检索：利用LanceDB索引；
• 文档预处理：解析PDF分离文本、表格、图像。

隐私保障：所有数据处理（解析、嵌入、推理）均本地完成，无外部云服务依赖，确保数据主权。 应用场景：

• 企业内部知识库：处理政策、财务报表等；
• 学术研究：检索论文文献；
• 个人文档管理：本地智能搜索；
• 离线环境：网络受限或高安全要求场景。

项目存在以下局限：

1. 本地小型模型在复杂推理任务上表现不及云端大模型；
2. 非英语文档处理能力待提升；
3. 复杂PDF版式（嵌套表格、手写批注等）解析准确性需优化。

Sovereign RAG是RAG技术向本地化、隐私优先方向发展的尝试，通过混合路由与资源优化，在有限硬件下实现多模态文档问答。对关注隐私、需本地部署的用户是值得评估的选择，未来随着模型迭代，有望成为更成熟的文档智能解决方案。