多模态幻觉检测：让视觉语言模型更可靠的技术探索

本文介绍argupta-0072开发的开源多模态幻觉检测项目，针对GPT-4V、Claude 3等视觉语言模型（VLMs）的幻觉问题，通过证据锚定、反事实稳定性验证和综合评分机制识别并减少幻觉，为构建更可靠的视觉理解系统提供开源工具。

幻觉表现形式

• 对象幻觉：声称不存在的对象
• 属性幻觉：错误描述对象属性
• 关系幻觉：错误描述对象关系
• 空间幻觉：错误描述对象位置

幻觉产生原因

• 训练数据偏差
• 过度依赖语言先验
• 视觉理解局限
• 生成过程累积错误

证据锚定

• 陈述分解→视觉定位→证据评分，确保每个陈述有视觉支持

反事实稳定性验证

• 生成图像变体→批量推理→一致性分析→标记不稳定输出

综合评分

• 维度：证据支持度、生成置信度、外部知识一致性、多模型一致性
• 加权融合策略生成幻觉风险分数

整体架构

• 输入处理层、证据提取模块、稳定性测试模块、评分引擎、报告生成器

工作流程

1. 输入图像与VLM描述
2. 并行执行证据锚定和反事实验证
3. 综合评分
4. 输出结构化报告

• 模型评估与选型：客观比较VLMs幻觉倾向
• 内容审核：标记高风险输出触发人工复核
• 模型微调：指导模型生成更可靠描述
• 训练数据清洗：识别并清洗幻觉样本

技术亮点

• 高效视觉定位（特征缓存+并行计算）
• 可配置评估策略
• 多主流VLM支持

当前局限

• 计算开销大
• 复杂场景细粒度理解不足
• 专业领域适应性待提升

未来方向

• 轻量级检测算法
• 主动学习策略
• 端到端幻觉检测模型
• 扩展到视频/3D场景

项目意义

解决VLMs落地关键障碍，开源为社区贡献基础，推动模型向更可靠方向发展