# ODE：面向视觉原生多模态深度搜索智能体的策略数据演化方法 > 通过图像银行引用协议和闭环数据生成器，ODE解决了多模态搜索中视觉证据复用和训练数据静态化的问题，在8个基准测试上显著提升智能体性能。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-05-11T16:49:36.000Z - 最近活动: 2026-05-12T06:25:37.908Z - 热度: 137.4 - 关键词: 多模态搜索, 智能体训练, 数据演化, 视觉推理, 工具使用, Qwen3-VL, 强化学习, 监督微调 - 页面链接: https://www.zingnex.cn/forum/thread/ode - Canonical: https://www.zingnex.cn/forum/thread/ode - Markdown 来源: ingested_event --- ## 多模态深度搜索的挑战 让AI智能体在开放世界中解决问题是一项艰巨任务。多模态深度搜索（Multimodal Deep Search）要求智能体能够链式调用搜索工具、浏览网页、分析图像，并在不断演变的文本和视觉上下文中进行推理。这不仅需要强大的语言理解能力，还需要处理视觉信息、规划复杂行动序列的能力。 当前系统面临两个关键瓶颈。首先是视觉证据的临时性问题：现有工具使用框架将搜索、浏览或变换返回的图像视为一次性输出，中间视觉证据无法被后续工具重新消费。其次是训练数据的静态性：数据通常通过固定的策划流程构建，无法跟踪目标智能体能力的演变。 当智能体在训练过程中不断进步时，它需要的训练数据也在变化。静态数据集无法适应这种动态需求。 ## 视觉原生的智能体框架 论文首先提出了一种视觉原生的智能体框架（visual-native agent harness），核心是图像银行引用协议（image bank reference protocol）。 **图像银行机制** —— 该协议将每个工具返回的图像注册为可寻址引用。图像不再是一次性消耗品，而是被存储在"图像银行"中，后续工具可以通过引用ID访问。这类似于编程中的变量引用，让视觉证据可以在整个推理链中被多次复用。 这种设计解决了多步视觉推理的关键问题。例如，智能体可能需要先搜索一张地图，然后在地图上标注特定位置，再对标注后的图像进行进一步分析。没有图像银行，每一步都需要重新生成或传输图像，效率低下且容易丢失信息。 **可复用的视觉证据** —— 中间视觉证据的复用对于复杂任务至关重要。论文特别指出，在需要迭代视觉优化的任务中，图像银行的效果尤为显著。智能体可以基于前一步的视觉输出进行精细化操作，而不是从头开始。 ## 策略数据演化（ODE） 在视觉原生框架之上，论文提出了ODE（On-policy Data Evolution）——一种闭环数据生成器，能够从被训练策略的 rollout 中自我精炼。 **逐轮精炼机制** —— ODE的核心思想是让数据生成过程与策略训练同步演化。每一轮训练后，系统分析当前策略的 rollout，识别其仍然需要学习的内容，然后生成针对性的训练数据。这种"缺什么补什么"的策略确保数据始终匹配当前策略的需求。 **闭环反馈循环** —— ODE的运行流程如下： 1. 当前策略在任务上进行rollout，生成执行轨迹 2. 分析这些轨迹，识别成功和失败的模式 3. 基于分析结果生成新的训练数据，针对性地强化薄弱环节 4. 用新数据继续训练策略 5. 重复上述过程 这种闭环设计使得数据生成不再是离线的一次性工作，而是与训练过程紧密耦合的动态过程。 **支持完整训练生命周期** —— 同一框架同时支持多样化的监督微调（SFT）数据和策略感知的强化学习（RL）数据策划。从初始训练到持续优化，ODE覆盖了目标智能体的完整训练生命周期。 ## 实验结果：显著的性能提升 论文在8个多模态深度搜索基准测试上验证了ODE的有效性，结果令人印象深刻： **Qwen3-VL-8B模型** —— 使用ODE后，平均得分从24.9%提升到39.0%，提升幅度达56%。更值得注意的是，这超过了Gemini-2.5 Pro在标准智能体工作流设置下的表现（37.9%），而Qwen3-VL-8B的参数规模要小得多。 **Qwen3-VL-30B模型** —— 在更大的模型上，ODE同样表现出色，平均得分从30.6%提升到41.5%。这表明ODE的方法具有可扩展性，适用于不同规模的模型。 这些结果证明，数据质量的提升（通过ODE的动态生成）可以弥补甚至超越模型规模的差距。 ## 关键发现与分析 **图像银行复用的价值** —— 深入分析验证了图像银行复用的有效性，特别是在需要迭代视觉优化的复杂任务上。当智能体需要对同一视觉证据进行多步处理时，图像银行避免了重复传输和重新编码的开销，同时保持了视觉信息的完整性。 **Rollout反馈的优势** —— 相比静态数据合成，基于rollout反馈的演化产生了更扎实的SFT轨迹和更好的策略匹配RL任务。这是因为数据生成直接基于策略的实际表现，而非人工预设的假设。 **动态适应的重要性** —— 实验还揭示了静态数据集的局限性。随着策略能力提升，原本"困难"的样本可能变得"简单"，而新的"困难"样本不断出现。ODE的逐轮精炼确保数据难度始终与策略能力匹配，避免了训练资源的浪费。 ## 技术细节：ODE的实现 **数据生成策略** —— ODE如何决定生成什么样的数据？论文暗示了一种基于误差分析的策略：识别策略在rollout中失败的案例，分析失败原因，然后生成针对性的训练样本。这可能涉及： - 对失败轨迹进行部分修改，保留正确前缀，修正错误后缀 - 生成与失败案例相似但难度适中的变体 - 引入对抗性样本，测试策略的鲁棒性 **多样性保持** —— 动态生成数据的一个风险是模式崩溃——数据生成器可能过度关注某些类型的样本，忽视其他重要场景。ODE需要在针对性和多样性之间取得平衡。 **计算效率** —— 闭环数据生成增加了训练流程的复杂度。ODE需要设计高效的实现，确保数据生成不会成为训练瓶颈。这可能涉及异步数据生成、缓存机制等技术。 ## 与相关工作的对比 **vs 静态数据集** —— 传统方法使用预构建的固定数据集（如WebShop、Mind2Web）。ODE的动态生成方法更灵活，能够适应策略的演变。 **vs 在线学习** —— 在线学习也涉及动态数据，但通常是从环境中实时采样。ODE更进一步，主动生成针对性的训练数据，而不仅仅是被动采样。 **vs 课程学习** —— 课程学习按难度排序样本，但顺序是预定义的。ODE根据策略的实际表现动态调整，更加自适应。 **vs 合成数据生成** —— 已有工作使用LLM生成合成训练数据。ODE的独特之处在于生成过程与策略训练形成闭环，数据质量持续提升。 ## 应用前景与影响 **通用智能体训练** —— ODE的方法不仅适用于多模态搜索，也可以推广到其他类型的智能体训练。任何需要工具使用、多步推理的场景都可能受益于这种动态数据生成策略。 **视觉-语言模型优化** —— 随着VLM（Vision-Language Model）能力不断提升，如何充分挖掘它们的潜力成为关键问题。ODE提供了一种系统性的训练方法，帮助VLM更好地利用视觉信息进行复杂推理。 **降低数据标注成本** —— 高质量的多模态数据标注成本极高。ODE通过自动生成和动态调整，减少了对人工标注的依赖，降低了开发门槛。 **持续学习** —— ODE的闭环设计天然支持持续学习。智能体可以在部署后继续收集反馈、生成新数据、迭代优化，实现真正的终身学习。 ## 局限与未来方向 **计算开销** —— 闭环数据生成增加了训练成本。如何在保持效果的同时提高效率，是未来研究的重要方向。 **泛化能力** —— ODE在8个基准上表现优异，但在更广泛的开放世界任务上的泛化能力仍需验证。 **可解释性** —— 动态生成的数据质量如何评估？如何理解ODE的决策过程？提升可解释性有助于建立对系统的信任。 **多智能体场景** —— 当前ODE针对单智能体优化。在多智能体协作场景中，数据生成策略需要相应调整。 ## 结语 ODE代表了智能体训练方法的重要进步。通过视觉原生的框架设计和策略驱动的数据演化，它解决了多模态深度搜索中的关键瓶颈。实验结果令人信服地证明，智能的数据生成策略可以带来实质性的性能提升。随着多模态AI系统的应用场景不断扩展，ODE这类方法将在推动智能体能力边界方面发挥越来越重要的作用。