MGRAG：基于图结构的多模态检索增强生成系统

MGRAG是一个将知识图谱与多模态检索增强生成相结合的开源框架，通过图结构组织跨模态信息，提升大语言模型在多模态问答任务中的准确性与可解释性。

随着大语言模型（LLM）能力的不断提升，检索增强生成（RAG）已成为解决模型幻觉和知识时效性问题的主流方案。然而，传统RAG系统主要面向文本模态，在面对图像、视频等多模态内容时存在明显局限。多模态问答任务要求模型不仅能理解视觉信息，还需将其与文本知识进行有效关联，这对检索系统的设计提出了更高要求。

MGRAG（Graph-based Multimodal Retrieval-augmented Generation）正是在这一背景下诞生的创新框架。它通过引入图结构来组织多模态信息，实现了跨模态知识的统一表示与高效检索。

MGRAG的核心设计理念是将知识图谱的结构性优势与多模态检索的灵活性相结合。系统主要包含以下几个关键组件：

系统采用视觉语言模型（VLM）作为图像理解的基础，通过vLLM服务提供高效的视觉特征提取。图像caption被预先计算并存储，用于后续的图构建和检索。

MGRAG将文档和图像信息构建成异构图结构。图中的节点可以表示文本片段、图像实体或概念，边则表示它们之间的语义关联。这种结构化的表示方式使得跨模态推理成为可能。

与传统向量检索不同，MGRAG采用图遍历的方式进行信息检索。系统支持多种图检索策略，包括基于路径的检索、子图采样以及并行检索等。通过path_recent_nodes等参数，用户可以控制检索的粒度和范围。

系统集成了多种推理模式，支持直接检索（direct retrieval）和迭代式图扩展（graph expansion）。stop_detect机制能够智能判断何时终止检索，在保证召回率的同时控制计算开销。

MGRAG基于Python 3.10.16开发，核心依赖包括：

• vLLM：提供高性能的视觉语言模型推理服务
• LMCache：用于加速LLM推理的缓存系统
• 图数据库：支持复杂的图遍历和查询操作