MMNeedle：多模态大模型长上下文能力的系统性基准测试

NAACL 2025 Oral论文提出MMNeedle基准测试，通过"大海捞针"任务评估多模态大语言模型（MLLM）在长上下文视觉理解中的定位能力，揭示主流模型在多图场景下的性能瓶颈。该基准填补现有评估空白，为多模态AI发展提供标准化工具，推动开源协作。

随着MLLM快速发展，处理长上下文视觉信息的能力成为关键挑战，对文档分析、视频理解等实际应用至关重要。但现有基准主要关注单图理解或短上下文场景，缺乏对多模态模型长上下文定位能力的系统性评估。

MMNeedle是首个针对MLLM长上下文理解能力的基准测试，借鉴文本领域"大海捞针"思想扩展到视觉-语言多模态场景。核心测试机制包括：1.定义含特定视觉内容的针子图；2.构建由M张图像组成的长上下文视觉输入（每张由N×N子图拼接）；3.提供指令与目标子图文本描述；4.评估模型输出的图像索引、行、列位置准确性。

测试主流模型后发现：1.性能分层明显：GPT-4o能准确预测针子图的图像索引、行、列位置；Gemini Pro 1.5可正确预测图像索引但行列定位不足；其他API模型多位置错误；开源模型普遍输出格式错误。2.长上下文理解存在瓶颈：即使简单"大海捞针"任务，模型也暴露局限性，面临根本性技术挑战。

MMNeedle提供完整开源资源：1.Hugging Face数据集Wang-ML-Lab/MMNeedle（约11.4GB拼接图像及元数据）；2.Google Drive镜像；3.自定义数据集构建工具。数据集采用Hugging Face标准格式，便于集成到现有评估流程。

MMNeedle获学术界高度认可：1.选为NAACL 2025 Oral论文；2.建立Paper with Code多模态长上下文理解公开排行榜；3.项目主页：https://mmneedle.github.io/。为后续研究提供重要参考基准。

1.填补评估空白：提供标准化工具，助研究人员客观比较模型性能；2.揭示技术瓶颈：指明模型改进方向；3.推动开源发展：促进社区协作，加速多模态AI技术进步。

长上下文理解将成为MLLM关键竞争力。未来可扩展更复杂任务场景（如视频序列理解、跨模态推理），持续更新基准并鼓励社区参与，为多模态AI健康发展提供技术支撑。