FIKA-Bench：多模态智能体细粒度知识获取能力的新基准测试

FIKA-Bench是针对大型多模态模型和智能体细粒度知识获取能力的全新基准测试，包含311个真实场景实例。研究发现当前最先进系统准确率仅25.1%，揭示细粒度视觉识别与外部知识检索结合仍是重大挑战。

现有多模态基准主要关注视觉识别本身，缺乏对系统主动获取外部知识能力的系统性评估。大型多模态模型（LMMs）在通用视觉理解上有进展，但面对需结合视觉细节与外部知识的细粒度任务（如区分相似鸟类品种、识别特定建筑风格）时力不从心。

FIKA-Bench填补评估空白，包含311个真实实例，具有三大特性：

1. 防泄露设计：样本经闭卷模型过滤，确保不被模型记忆，迫使依赖外部检索；
2. 证据锚定：所有样本需验证的证据支持，答案可在外部资源查证；
3. 细粒度挑战：涵盖相似物种辨别、细微差别识别等高精度场景。

对最新多模态模型和智能体评估显示，最优系统准确率仅25.1%，无模型突破30%。仅配备工具（如搜索引擎）不足以弥合差距，工具有效利用仍是难题。

智能体失败核心原因：

1. 实体检索错误：误解视觉内容导致检索查询偏离，或无法识别关键实体；
2. 视觉判断不足：无法准确比对检索信息与视觉证据，难以选择正确答案。需从根本改进智能体设计以聚焦细粒度视觉识别。

未来智能体需：

1. 更强视觉理解能力，识别细微差别并转化为有效检索查询；
2. 更好证据评估机制，整合检索结果与视觉证据；
3. 多阶段推理（初步观察→假设→检索验证→修正→再验证），类似人类认知的交互式方法或突破瓶颈。

FIKA-Bench标志多模态AI评估新阶段，提供标准化工具并揭示技术局限。25.1%的准确率提示构建人类级别知识获取智能体仍有长路。该基准将激励研究人员探索新架构、训练方法与评估范式，推动多模态智能体更可靠实用。