RAMM：基于检索增强的多模态虚假新闻检测新框架

本文提出RAMM（Retrieval-Augmented Multimodal Model for Fake News Detection）框架，旨在解决现有虚假新闻检测模型在跨实例叙事一致性和领域特定知识推理方面的不足。该框架通过抽象叙事对齐和语义表征对齐两大核心模块，结合检索增强机制，在三个公开数据集上验证了有效性，为虚假新闻检测提供了新的思路。

社交媒体时代虚假新闻传播迅速，但传统检测方法存在局限：

1. 孤立处理缺陷：将每条新闻视为独立个体，难以捕捉集群传播虚假新闻的跨实例叙事一致性；
2. 知识依赖问题：过度依赖预训练参数中的固定知识，面对新兴事件或小众领域时泛化能力显著下降。

RAMM的抽象叙事对齐模块可自适应从不同领域多样化实例中提取抽象叙事一致性，聚合相关知识以建模高层叙事信息。该模块通过分析新闻样本间的语义关联，识别跨实例的叙事模式，有效检测变换表述但核心结构不变的虚假新闻。

语义表征对齐模块灵感源于人类新闻验证过程（基于过往经验类比推理），将模型决策范式从直接多模态特征推断转变为实例化类比推理，使模型推理方式更接近人类认知模式。

RAMM以多模态大语言模型（MLLM）为骨干，可同时处理文本、图像等多模态信息，捕捉跨模态语义关联；通过动态检索相关实例和知识，补充模型参数中固定知识的不足，显著提升领域适应能力。

RAMM在三个公开数据集上表现优异：

1. 跨领域泛化：优于传统方法，解决新兴领域知识不足问题；
2. 集群虚假新闻检测：有效识别多账号协同传播的虚假新闻campaign，具有重要实践价值。

研究团队已将RAMM代码开源至GitHub，推动领域研究与业界应用；未来将结合多模态大语言模型和检索技术的发展，拓展RAMM在更广泛场景的应用，助力构建清朗网络信息环境。