多模态虚假信息检测：从基准模型到非洲语境的迁移学习实践

本项目聚焦多模态虚假信息检测模型从西方基准数据集向非洲语境的迁移挑战，通过本地化数据适配显著提升模型在非洲媒体内容上的识别能力。研究采用CLIP双模态编码+轻量级分类器的技术路线，探索跨域泛化问题，并涉及数据伦理、开源贡献等方面，为AI公平性与包容性提供实践参考。

虚假信息检测是AI热点方向，但现有模型多基于Fakeddit、Twitter等西方数据集构建。研究发现，这些模型在不同地域文化背景内容上可能存在偏差，尤其面对“旧图新说”的多模态欺骗方式（真实图片搭配歪曲文字）时，需图像-文本一致性理解能力。卡内基梅隆大学团队关注到现有模型在非洲媒体内容上的表现偏差问题。

项目将多模态虚假信息检测建模为图像-文本语义一致性问题：

1. CLIP双模态编码：用CLIP ViT-B/32将图片和文字转为512维语义向量；
2. 特征工程：构建1537维特征（余弦相似度1维+绝对差值512维+拼接1024维）；
3. 轻量级分类器：采用逻辑回归，优势为可解释性强、训练成本低、部署友好。

团队构建非洲语境本地化数据集：

• 数据概况：178条图文对（虚假81、真实97，训练142、测试36）；
• 采集原则：场景优先（公共场景）、隐私保护、事实锚定；
• 众包标注：三位标注者独立标注，多数投票确定标签，歧义样本协作讨论。

四组对比实验显示：未经适配的Fakeddit模型在非洲测试集虚假信息召回率仅39.51%；加入非洲训练数据后，召回率提升至66.67%，F1从52.03%升至66.67%。且适配后模型在Fakeddit测试集准确率从84.73%提升至90.78%，说明非洲数据帮助模型学到更鲁棒的跨域特征。

项目提供完整开源实现，包括主笔记本（全流程）、Streamlit交互式应用（支持预测标签、风险概率等可解释性）、预训练模型。已配置Streamlit Community Cloud部署文件，可一键部署。

研究存在局限性：非洲数据集规模小（178条，测试36条），统计显著性受限；CLIP作为固定编码器未针对任务微调；系统输出“风险估计”而非“事实核查”，不能替代人工审核。

本研究揭示AI公平性重要议题：基准数据集性能≠真实世界泛化能力。非洲语境适配的成功表明，针对性本地化努力可改善跨域泛化。AI技术渗透信息生态时，公平性和包容性是必选项。