指令透镜评分：用指令本身检测多模态大模型的物体幻觉

ICML 2026的一项研究提出InsLen Score（指令透镜评分），通过分析用户指令本身即可有效检测多模态大语言模型中的物体幻觉问题，无需额外训练或参考图像，为多模态AI系统的幻觉治理提供了新的主动预防思路。

多模态大语言模型（MLLMs）在图像理解等任务进展显著，但物体幻觉问题突出——模型会提及图像中不存在的物体。传统检测方法需复杂后处理、额外参考图像或昂贵微调，成本高且难快速部署，业界需简单高效的方案。

InsLen Score的核心洞察：用户指令本身含足够检测信号，某些措辞、结构与幻觉发生率相关。技术实现为三层分析：词汇层面（物体名词数量与幻觉正相关）、句法结构（复杂句式增加幻觉概率）、语义意图（超出图像推理的指令易诱导幻觉），综合输出0-1风险分数。

在LLaVA、MiniGPT-4等模型上零样本验证，InsLen Score在POPE基准上检测准确率优于部分需额外训练的基线方法；计算开销极低（毫秒级），无需模型内部状态，可实时集成。

开发者可集成InsLen Score：分数超阈值时提示用户优化指令或添加约束；结合模型置信度触发审核/二次验证；通过分析高风险指令特征优化提示词模板，从源头减少幻觉。

局限：仅针对物体级幻觉，复杂场景/关系推理错误检测有限；基于英语验证，多语言表现待研究；无具体指令改进建议。未来方向：扩展到复杂场景、多语言支持，开发自动指令优化模块。

项目已在GitHub开源，提供PyTorch实现、预训练模型和示例脚本，支持pip安装与API调用；欢迎社区通过Issue和PR提交反馈与贡献。