多模态RAG系统：融合视觉与文本的智能检索增强生成

传统检索增强生成（RAG）系统处理PDF文档时，常丢失图表、表格截图等视觉元素信息，而这些内容往往是关键答案所在。本项目构建的多模态RAG系统，将图像视为与文本同等重要的第一等公民，通过CLIP和LLaVA风格模型实现对混合PDF文档（研究论文、幻灯片等）及零散截图的统一检索与生成，最终输出既引用文本段落又标注依赖图表的grounded答案，解决了传统RAG的痛点。

在信息检索与知识管理领域，RAG技术已成为大语言模型应用的重要范式，但传统RAG系统处理PDF时仅视为纯文本块，导致视觉元素信息完全丢失。本项目旨在解决这一问题，实现对混合PDF文档和零散截图的统一处理，生成包含图表引用的可解释性答案。

系统采用多路召回融合策略，整体流程如下：

1. 摄取：通过pypdf+pymupdf处理PDF/图像文件夹，进行文本分块和图像裁剪；
2. 索引：文本块用sentence-transformers编码，图像用CLIP编码，存储于FAISS多模态索引；
3. 检索：采用RRF融合策略，结合文本-文本、图像-文本、文本-图像三种检索模式；
4. 生成：通过LLaVA风格VLM生成带来源标注的grounded答案。

检索模式：

1. 文本-文本检索：使用sentence-transformers/all-MiniLM-L6-v2对文本块编码检索；
2. 图像-文本检索：利用CLIP文本编码器索引图像，支持自然语言描述查找图表；
3. 文本-图像检索：用户粘贴图像附带问题时，检索相关文本补充信息。

生成阶段：采用llava-hf/llava-1.5-7b-hf模型，查看融合后的top-k文本段落和最多四张图像，生成准确且可解释的grounded回答，并标注信息来源。

基础框架：Python3.12 + PyTorch2.6 + Transformers4.50 多模态模型：Open CLIP2.30（图像-文本对齐）、sentence-transformers3.3（文本语义编码） 向量存储与检索：FAISS（高效相似性搜索，多模态索引分离存储） Web服务：FastAPI0.116（异步API网关）、Streamlit1.40（交互式聊天界面） 文档处理：pypdf+pymupdf（PDF解析与图像提取） 辅助工具：Pydanticv2（请求验证）、LangChain0.3（可选查询重写器）

项目维护三组评估数据集：

1. slidedecks.jsonl：测试商业演示文档理解能力；
2. papers_with_figures.jsonl：验证文本与图表关联能力；
3. screenshots_ui.jsonl：评估界面设计与用户流程理解。

评估指标包括recall@5、recall@10和MRR（平均倒数排名），全面衡量检索质量。

核心价值：保留传统RAG的可解释性与可控性，扩展应用场景到富文档环境，通过跨模态检索实现更全面的信息覆盖。 适用场景：学术研究（处理含图表论文）、商业分析（解析财务报表）、技术文档（理解架构图）、医疗诊断（综合影像报告与临床记录）。

快速开始：

1. 安装依赖：pip install -r requirements.txt
2. 构建索引：python scripts/build_index.py --src data/raw --out data/index
3. 启动API：python serve.py（访问http://localhost:8000）
4. 启动Streamlit界面：streamlit run streamlit_app.py

API端点：/upload（文件上传）、/search（纯检索）、/ask（完整RAG）、/health（健康检查）

容器化部署：docker compose up --build，支持云平台与本地服务器部署。