多模态虚假新闻检测：融合文本与图像的深度学习方案

本项目聚焦多模态虚假新闻检测，基于Fakeddit数据集探索了BERT+ResNet、BERT+ViT、CLIP等深度学习模型的应用。核心目标是融合文本与图像信息提升检测鲁棒性，其中CLIPv2变体通过数据增强与分阶段微调取得最佳准确率83.22%。项目还提供Streamlit演示应用，并探讨了技术局限与未来方向。

虚假新闻的多模态挑战

社交媒体时代，虚假新闻常以文本+图像的多模态形式传播，单一模态检测难以应对。

Fakeddit数据集

该项目采用Fakeddit数据集，从Reddit收集含文本标题与图像的帖子，标注6类标签（真实、讽刺、误导性、捏造等），覆盖虚假信息频谱，为模型训练提供充足数据支持。

项目探索三种融合策略：

1. BERT+ResNet-50：经典组合，BERT处理文本语义，ResNet提取图像特征，后期融合；优势是稳定可解释，但可能缺乏早期模态交互。
2. BERT+ViT：替换ResNet为Vision Transformer，利用Transformer同质性提升模态对齐；ViT在全局语义理解上更优，但对数据量要求高。
3. CLIP-based方案：采用OpenAI CLIP模型，基于对比学习预训练的跨模态表征，CLIPv2通过针对性微调适应任务需求，是最具创新性的尝试。

CLIPv2取得最佳性能的两大关键：

• 数据增强：文本用同义词替换、回译；图像用随机裁剪、颜色抖动等，增强数据多样性与模型鲁棒性。
• 分阶段微调：第一阶段冻结预训练参数仅训练分类头；第二阶段解冻底层参数低学习率微调，避免灾难性遗忘，保留通用知识。

性能梯度明显：CLIPv2（83.22%）> BERT+ViT > BERT+ResNet。

• 跨模态预训练价值：CLIP的图文关联知识对理解文本-图像关系至关重要。
• 类别差异：捏造新闻召回率高，讽刺/误导性内容检测难度大，反映虚假信息的连续谱特性。

项目提供基于Streamlit的交互式演示，支持用户输入标题、上传图片，实时查看预测结果与置信度。该应用助力研究验证与成果推广，非技术用户也能直观体验检测效果。

当前方法存在局限：

1. 对抗攻击脆弱性：易被恶意构造的内容欺骗。
2. 时间敏感性：虚假新闻形式随时间演变，模型需持续更新。
3. 多维度解决方案：技术检测仅为一部分，需结合媒体素养教育与平台治理政策协同应对。

本项目展示了多模态虚假新闻检测的技术水平与局限。CLIP的迁移能力提示大规模预训练跨模态表征的潜力。83.22%准确率是里程碑，但对抗虚假信息需技术、教育、政策共同发力。未来期待更强大的多模态模型为净化信息环境贡献力量。