LIME：通过相关性传播缓解多模态大语言模型幻觉问题

LIME是一个创新的开源实现，通过在推理时进行相关性传播来检测和缓解多模态大语言模型的幻觉问题，为提升AI系统可靠性提供了新的技术路径。

多模态大语言模型（Multimodal LLMs）的快速发展为人工智能应用开辟了新的可能性，使模型能够同时理解和生成涉及文本、图像、视频等多种模态的内容。然而，这些模型普遍存在一个严重的可靠性问题——幻觉（Hallucination），即模型生成看似合理但实际上与输入信息不符的内容。

幻觉问题在多模态场景中尤为突出，因为模型需要整合来自不同模态的信息，而模态间的对齐和 grounding 容易出现偏差。例如，模型可能在描述图像时添加不存在于图片中的细节，或者对视觉内容的理解与实际情况相悖。这不仅影响用户体验，更在医疗诊断、自动驾驶等关键应用中带来严重风险。

LIME（通过相关性传播缓解多模态LLM幻觉）提出了一种在推理时动态检测和缓解幻觉的新方法。与需要在训练阶段进行大量修改的方法不同，LIME是一种后处理技术，可以直接应用于已经训练好的模型，无需重新训练或微调。

LIME的核心洞察是：幻觉通常发生在模型对输入信息的某些部分关注度不足或错误关联时。通过分析模型内部的相关性传播模式，可以识别出哪些输出内容缺乏足够的输入支持，从而标记潜在的幻觉。

LIME方法包含三个关键组件：

1. 相关性计算：在推理过程中追踪输入token与输出token之间的注意力相关性
2. 幻觉检测：基于相关性阈值识别缺乏输入支持的生成内容
3. 缓解策略：对检测到的幻觉进行修正或抑制

Transformer架构中的自注意力机制为相关性分析提供了天然的基础。在每一层注意力计算中，模型隐式地建立了输入token之间的关联强度。LIME利用这一特性，通过聚合多层注意力权重来构建全局相关性图。

在多模态场景中，相关性传播需要处理文本token与视觉特征之间的复杂关系。LIME可能采用了以下策略：

• 模态内相关性：计算同一模态内token之间的关联
• 模态间相关性：建立文本token与图像区域之间的对应关系
• 层级聚合：整合不同Transformer层级的相关性信息

LIME的关键优势在于所有计算都在推理时进行，这意味着：

• 无需训练数据：不需要标注幻觉样本进行训练
• 模型无关性：可以应用于任何基于Transformer的多模态模型
• 实时反馈：能够即时检测和响应潜在的幻觉