FindIt：多模态大模型的视觉定位能力新基准

FindIt是首个专门评估通用多模态大语言模型（MLLM）可提示定位能力的综合基准，涵盖目标检测、指代表达检测、实例级检测和视频检测四大任务类别，揭示当前模型在结构化视觉任务中的优势与局限。

原作者与来源：论文作者团队（arxiv 2606.04282v1），发布于2026年6月2日，原文链接：http://arxiv.org/abs/2606.04282v1

多模态大语言模型（MLLM）近年进展显著，但多数评估集中在视觉问答、图像描述等自由形式任务，无法完全反映实际应用中结构化视觉定位任务的需求。随着AI代理系统发展，用户对MLLM执行精确目标检测等结构化任务的需求增加，而当前缺乏标准化基准来评估这类能力，导致模型性能难以客观比较，阻碍实际部署。

FindIt涵盖四大核心任务类别：

1. 目标检测：识别并定位图像中特定类别目标，返回边界框坐标；
2. 指代表达检测：根据自然语言描述定位特定目标（如“穿红色衬衫的人”）；
3. 实例级检测：在同类目标中精确定位特定实例，需结合上下文与细粒度特征；
4. 视频检测：在视频序列中跟踪定位目标，涉及运动、时序一致性等挑战。

为确保评估一致性与公平性，FindIt设计了统一框架：

• 输入标准化：统一图像/视频数据与自然语言提示的表示，消除输入处理差异；
• 输出格式约束：强制模型返回可解析的边界框格式，测试定位精度与格式遵循能力；
• 透明评估协议：明确评估指标计算方法（如边界框匹配阈值），保证公平比较。

通过FindIt评估主流MLLM，得出以下发现：

1. 格式敏感性：模型对输出格式变化高度敏感，微小格式差异导致性能显著下降；
2. 泛化能力局限：模型难以将定位能力跨任务泛化（如目标检测好但指代表达检测差）；
3. 开源与专有模型差距：专有模型（如GPT-4V）仍领先，但开源模型差距在缩小；
4. 视频任务挑战：视频检测对所有模型均构成重大挑战，时序处理等问题待解决。

FindIt结果为模型设计提供指导：

1. 结构化输出训练：需增加结构化输出任务的训练数据（预训练/微调阶段）；
2. 提升格式鲁棒性：增强模型对不同输出格式的适应能力；
3. 深化视觉-语言对齐：需更强的深层对齐机制，而非表面特征融合；
4. 改进时序建模：针对视频任务优化时序信息捕捉与利用。

FindIt对实际应用意义深远：

• 在机器人视觉、自动驾驶、智能监控等领域，帮助从业者选择合适模型；
• 格式敏感性问题警示开发者：部署时需加入格式验证与后处理机制，确保输出可靠。

FindIt填补了通用MLLM定位能力评估的空白，揭示模型优势与局限，为改进指明方向。随着MLLM在实际场景部署增加，结构化评估基准将更重要，期待推动社区关注模型实用性与可靠性，而非仅自由形式任务高分。