HippoCamp：评测个人电脑上的上下文感知智能体新基准

HippoCamp是全新的多模态文件管理智能体评测基准，基于42.4GB真实用户数据构建581个问答对，揭示当前最先进模型在用户画像建模和跨模态推理方面仅达48.3%准确率的性能瓶颈。该基准聚焦个人电脑环境下的上下文感知智能体能力评测，为个人AI助手的发展提供严格测试平台。

当前大语言模型和智能体发展集中在网页交互、工具调用等场景，但实用个人AI助手需面对个人电脑环境中的海量私有文件，理解个性化需求并进行上下文感知推理。现有评测基准脱离真实场景（受控实验或单一模态），导致实验室优异模型在真实个人文件系统中表现不佳，用户需要能"懂"自己的助手（记住偏好、定位文档、跨模态推理）。

设计理念：命名灵感来自海马体（负责记忆与导航），核心目标是评测智能体在个人数字环境中的记忆、检索和推理能力，采用用户中心设计，基于真实用户画像处理混乱多模态数据。 数据集构成：含42.4GB真实数据（2000+文件，跨文本文档、图片等多模态），581个深度推理问答对，46100个密集标注结构化轨迹（支持细粒度失败诊断）。 评测维度：搜索能力（语义检索、意图理解）、证据感知能力（多模态内容理解与相关性评估）、多步推理能力（任务分解、计划调整、元认知）。

对当前最先进多模态模型和智能体评测显示，最优商业模型在用户画像建模任务准确率仅48.3%。主要瓶颈：

1. 长程检索：跨月份/文件夹查找时易迷失，过早收敛或浪费资源，反映长上下文处理局限；
2. 跨模态推理：综合不同模态证据（如邮件文字+附件图片）时表现显著下降，多模态融合仍待解决。

通过结构化轨迹分析，识别两大性能瓶颈：

1. 多模态感知问题：理解非文本内容（图表、图片场景、音视频信息）能力弱，难以关联任务目标；
2. 证据grounding问题：过度依赖不充分证据或误用正确证据，无法有效关联信息与推理过程。

对研究人员：提供严格测试平台，指导识别技术局限与研究方向； 对开发者：需强化记忆系统（高效组织长期信息）、跨模态理解（核心技能）、可解释性与可调试性； 对用户：当前个人AI助手距"懂"用户仍有差距，涉及隐私场景需审慎，了解技术局限性。 HippoCamp标志个人AI助手评测新阶段，直面真实复杂性，助力开发有用、可靠的个人AI助手。