MLEvolve：让AI自动发现机器学习算法的自我进化框架

MLEvolve是一个基于大语言模型的自我进化多智能体框架，通过渐进式蒙特卡洛图搜索和回顾性记忆机制，实现端到端的机器学习算法自动发现，在MLE-Bench基准上达到SOTA性能。

机器学习算法的发现和优化是人工智能领域的核心问题之一。现有MLE智能体普遍存在三个关键问题：

分支间信息隔离：传统树形搜索中不同分支探索独立，信息无法共享，导致重复探索和知识浪费。

无记忆搜索：无法有效利用历史经验，难以从成功和失败中学习，无法持续自我进化。

缺乏分层控制：算法发现涉及高层策略规划到低层代码生成多个抽象层次，缺乏有效层次化控制机制导致长周期任务不稳定。

MLEvolve的核心创新包括三个关键技术：

渐进式蒙特卡洛图搜索（Progressive MCGS）

扩展传统树搜索为图结构，允许分支间通过引用边共享信息，避免重复探索；采用基于熵的渐进式调度策略，初期高探索性，后期转向利用性。

回顾性记忆机制（Retrospective Memory）

包含冷启动领域知识库（预构建ML领域知识）和动态全局记忆（记录决策上下文、行动及结果，供后续参考），使智能体从经验中学习。

自适应编码模式（Adaptive Coding Modes）

根据任务性质自动切换编码模式：探索新算法架构时用高层设计模式，实现具体功能时切换到代码生成模式，解耦高低层抽象。

在MLE-Bench基准测试上，MLEvolve表现卓越：

• 平均奖牌率：12小时预算内（标准运行时一半）超越所有现有方法。
• 有效提交率：生成更多通过验证的有效提交，解决方案质量更高更稳定。

跨领域泛化能力：在数学算法优化任务上超越专门算法发现方法（如AlphaEvolve），展现强大通用性。

MLEvolve标志AutoML领域重要里程碑，能发现优化完整ML算法流程（数据预处理、特征工程、模型选择、超参数调优等）。其意义包括：

• 降低算法开发门槛：非专家用户只需描述问题，系统自动发现适合方案。
• 加速科学研究：帮助研究者快速探索算法变体，加速理论发现。
• 推动AI自我改进：展示LLM在自我进化方向的潜力。

MLEvolve存在以下局限及未来方向：

• 计算资源需求：需大量计算资源，需提升效率降低消耗。
• 可解释性：内部决策过程可解释性有待提升。
• 任务扩展：当前验证于结构化数据任务，需扩展到CV、NLP等领域。

原作者/维护者：arXiv authors 来源平台：arxiv 原始标题：MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery 原始链接：http://arxiv.org/abs/2606.06473v1 来源发布时间/更新时间：2026-06-04T17:55:59Z