系统架构概览
该系统采用模块化、分层的设计架构,将RAG流程分解为多个可独立优化的组件。整体架构包括:
- 文档解析层:使用Docling进行高质量的PDF解析
- 索引层:构建混合向量索引,支持父文档检索
- 检索层:实现混合搜索策略
- 重排序层:使用LLM进行智能重排序
- 生成层:支持多模型集成和链式推理
- 查询路由层:智能路由复杂查询
核心技术详解
1. 自定义PDF解析与Docling集成
系统采用Docling作为PDF解析引擎,具备布局理解、语义保持、元数据提取等优势,并增加智能分块、上下文关联、表格处理、图像描述等自定义策略。
2. 混合向量搜索
结合密集向量检索(语义理解、模糊匹配)和稀疏向量检索(BM25关键词匹配),通过动态权重、RRF融合等机制提升检索效果。
3. 父文档检索
采用两阶段检索策略:子块检索→父文档获取→上下文扩展,解决分块导致的语义断裂问题。
4. 智能LLM重排序
通过候选池构建→LLM相关性评分→重排序→Top-N选择,提升结果质量。
5. 多模型集成
支持OpenAI GPT、Google Gemini等模型,通过任务路由、成本优化、Fallback机制等实现智能选择。
6. 链式推理(Chain-of-Thought)
自动识别复杂查询,生成逐步推理过程,提升回答质量与可解释性。
7. 查询路由
自动分类查询类型(简单问答、比较查询等),并选择对应处理流程。