RAGQA：面向心血管研究的专业检索增强问答系统

RAGQA是专为心血管研究领域设计的检索增强生成（RAG）问答系统，集成MongoDB向量搜索、多维度评估框架及评估器变异性分析，为医学AI应用提供可复现的研究范式。其核心价值在于结合外部知识库与生成模型，平衡回答准确性与自然语言生成灵活性，解决医学领域AI问答的关键挑战。

在心血管医学等高度专业化领域，构建可靠问答系统面临四大挑战：

• 知识准确性：医学信息不容差错，错误回答可能引发严重后果
• 领域专业性：涉及大量专业术语与复杂病理机制
• 信息时效性：需访问最新研究成果
• 可解释性：医学决策需可追溯证据支持

传统通用问答系统难以满足这些需求，而RAG技术通过结合外部知识库与生成模型，为解决上述问题提供了新思路。

RAGQA项目实现了完整的RAG pipeline，并包含全面评估框架，核心特点如下：

• 基于MongoDB Atlas向量搜索的语义检索
• 支持多种LLM后端（Gemma-2、Llama、DeepSeek等）
• 多维度答案质量评估体系
• 评估器变异性分析框架
• 完整的统计分析与可视化工具

向量检索层

采用MongoDB Atlas向量搜索，优势包括成熟向量索引、灵活查询接口、可扩展性及事务支持；使用thenlper/gte-large模型生成1024维文本嵌入，适配医学专业文献。

生成层

支持多种LLM后端：

• HuggingFace Transformers（如google/gemma-2-2b-it）
• Ollama本地服务（如llama3.3、deepseek-r1）
• vLLM批处理（高效大规模推理）

评估框架

多维度LLM评估体系，从三方面评分（1-7分Likert量表）：

• 准确性：内容正确程度
• 清晰度：表达易懂性
• 完整性：信息覆盖全面性 通过Pydantic验证结构化输出，确保评分规范性。

实验设计

针对不同LLM作为评估器的结果差异，设计实验：

1. 多模型评估（Llama3.1、Llama3.3等）
2. 多副本运行（同一答案多次评估，观察内部一致性）
3. 不同推理设置（批处理vs顺序模式）
4. 量化模型测试（4-bit AWQ量化对评判质量的影响）

关键发现

• 模型间差异：不同架构/规模模型的评判标准存在系统性差异
• 随机性影响：温度参数与随机种子显著影响评估结果
• 量化效应：4-bit量化降低计算成本，但可能改变评估行为
• 任务依赖性：部分问答类型易产生评估分歧

医学研究人员

• 快速检索心血管领域文献与知识
• 验证假设时获取背景信息
• 辅助文献综述与知识整理

AI系统开发者

• 学习领域特定RAG系统构建
• 了解多维度评估框架设计思路
• 掌握评估器变异性分析方法论

评估方法研究者

• 深入理解LLM-as-a-Judge的局限性
• 探索更可靠的自动评估方案
• 为评估协议标准化提供实证依据

模块化设计

代码结构清晰，核心模块包括：

• RAG_Mongodb.py：核心RAG系统实现
• RAG_poblate_db.py：数据库填充与索引构建
• LLM_answer_supervised_evaluation_strucutred_output.py：监督式评估

配置管理

通过环境变量与.env文件管理配置：

• MongoDB连接设置
• 模型选择与参数调整
• 评估参数配置

鲁棒性设计

• 自动重试机制：评估失败时自动重试
• 批处理支持：高效处理大规模评估任务
• 量化支持：资源受限环境下运行大模型

开源生态

遵循开放科学原则，提供完整开源实现：

• 代码与配置文件公开
• 详细README文档与示例
• 依赖项明确，易于复现
• 统计分析与可视化脚本完整

引用MongoDB Atlas、HuggingFace Transformers等开源框架，体现社区协作力量。

结语

RAGQA展示了领域特定问答系统的构建方法，结合先进RAG技术与严谨评估框架，为心血管研究人员提供实用工具，同时推动AI评估方法论发展。其评估器变异性分析为改进自动评估系统提供实证数据，对医学AI应用意义重大。