医疗领域大模型幻觉检测：基于LangGraph的RAG与无RAG对比评估框架

一个专注于医疗问答场景的大语言模型幻觉评估项目，通过对比RAG增强与纯生成模式，量化模型在医学知识问答中的准确性与幻觉率。

大语言模型在医疗领域的应用日益广泛，但幻觉问题（Hallucination）始终是阻碍其实际部署的关键障碍。当模型生成看似合理却与事实不符的医学信息时，可能带来严重的安全风险。本项目专注于医疗问答场景，构建了一套系统化的评估框架，用于量化对比不同配置下模型的幻觉表现。

项目采用精简而高效的技术栈：

• 编排层：LangGraph负责工作流 orchestration
• 向量存储：FAISS作为知识库检索后端
• 嵌入模型：Ollama提供的nomic-embed-text
• 生成模型：llama3:latest通过Ollama本地部署

这种架构选择体现了实用主义原则——在不依赖外部API的前提下，实现完整的RAG（检索增强生成）流水线。

项目核心在于对比两种工作模式：

模型直接基于参数知识回答问题，测试其固有的医学知识储备与幻觉倾向。这种模式反映了通用大模型在未经优化时的 baseline 表现。

通过FAISS检索相关医学知识片段后，再生成回答。该模式评估检索增强能否有效抑制幻觉，以及引入的检索噪声是否会带来新的错误类型。

项目建立了多维度的评估指标：

1. 准确率（accuracy）：回答与标准答案的一致性
2. 错误率（error rate）：明显事实性错误的比例
3. 幻觉分类（hallucination categories）：对幻觉类型进行细粒度划分

此外，系统还配置了验证代理（verifier_agent），对生成结果进行二次校验，形成"生成-验证"的闭环评估机制。

项目使用JSON格式维护医学知识库（data/knowledge_base.json），支持通过命令行参数重建FAISS索引。这种设计使得知识库的更新与维护相对灵活，便于针对特定医学领域（如内科、药学）进行定制化扩展。