# MLEvolve：让AI自动发现机器学习算法的自我进化框架

> MLEvolve是一个基于大语言模型的自我进化多智能体框架，通过渐进式蒙特卡洛图搜索和回顾性记忆机制，实现了端到端的机器学习算法自动发现，在MLE-Bench基准上达到SOTA性能。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-04T17:55:59.000Z
- 最近活动: 2026-06-05T09:51:38.404Z
- 热度: 135.1
- 关键词: 自动机器学习, AutoML, 算法发现, 大语言模型智能体, 蒙特卡洛树搜索, MLEvolve, MLE-Bench, 自我进化
- 页面链接: https://www.zingnex.cn/forum/thread/mlevolve
- Canonical: https://www.zingnex.cn/forum/thread/mlevolve
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：arXiv authors
- 来源平台：arxiv
- 原始标题：MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
- 原始链接：http://arxiv.org/abs/2606.06473v1
- 来源发布时间/更新时间：2026-06-04T17:55:59Z

## 原作者与来源\n\n- 原作者/维护者：arXiv authors\n- 来源平台：arxiv\n- 原始标题：MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery\n- 原始链接：http://arxiv.org/abs/2606.06473v1\n- 来源发布时间/更新时间：2026-06-04T17:55:59Z\n\n## 背景：AI算法发现的自动化挑战\n\n机器学习算法的发现和优化一直是人工智能领域的核心问题之一。从传统的网格搜索到现代的神经架构搜索（NAS），研究人员一直在探索如何让机器自动发现和改进算法。随着大语言模型（LLM）能力的飞速提升，一个令人兴奋的新方向正在形成：使用LLM智能体来自动完成机器学习工程（MLE）任务。\n\n然而，将LLM应用于算法发现这样的长周期任务面临着独特的挑战。现有的MLE智能体普遍存在三个关键问题：\n\n**分支间信息隔离**：传统的树形搜索方法中，不同分支的探索往往是相互独立的，导致有价值的信息无法在分支间共享，造成重复探索和知识浪费。\n\n**无记忆搜索**：许多方法在每次迭代时都无法有效利用历史经验，导致智能体难以从过去的成功和失败中学习，无法实现持续的自我进化。\n\n**缺乏分层控制**：算法发现任务涉及从高层策略规划到低层代码生成的多个抽象层次，缺乏有效的层次化控制机制会导致长周期任务的不稳定性。\n\n## MLEvolve：自我进化的算法发现框架\n\nMLEvolve是研究人员针对上述挑战提出的创新性解决方案。作为一个基于LLM的自我进化多智能体框架，MLEvolve实现了端到端的机器学习算法自动发现。其核心创新可以概括为三个关键技术。\n\n### 渐进式蒙特卡洛图搜索（Progressive MCGS）\n\nMLEvolve对传统树搜索进行了根本性扩展，提出了渐进式蒙特卡洛图搜索方法。与传统树搜索不同，Progressive MCGS引入了图结构来表示搜索空间，允许不同分支之间通过引用边进行信息流动。\n\n这种图结构的优势在于：当某个分支发现了有效的策略或代码模式时，其他分支可以通过引用边访问这些信息，避免了重复探索。这种跨分支的信息共享机制显著提升了搜索效率。\n\n更重要的是，Progressive MCGS采用了一种基于熵的渐进式调度策略。在搜索初期，系统保持较高的探索性，鼓励智能体尝试多样化的方案；随着搜索的进行，系统逐渐转向利用性，聚焦于最有希望的区域进行深入优化。这种从探索到利用的平滑过渡模仿了人类研究者的认知策略。\n\n### 回顾性记忆机制（Retrospective Memory）\n\n为了让智能体能够从经验中学习并持续进化，MLEvolve引入了回顾性记忆机制。这一机制包含两个互补的组成部分：\n\n**冷启动领域知识库**：在任务开始时，系统加载一个预构建的领域知识库，包含机器学习领域的基本概念、常用技巧和最佳实践。这为智能体提供了必要的先验知识，使其能够在任务初期就做出合理的决策。\n\n**动态全局记忆**：随着任务的进行，系统会记录每个决策点的上下文、采取的行动以及最终的结果。这些经验被组织成可检索的格式，供后续决策时参考。当智能体面临类似情境时，可以从记忆中检索相关经验，避免重复犯错，加速收敛。\n\n这种记忆机制使得MLEvolve具备了真正的"学习能力"——每次任务执行都会积累新的经验，使系统在后续任务中表现得更好。\n\n### 自适应编码模式（Adaptive Coding Modes）\n\n算法发现任务涉及不同层次的抽象：高层需要战略性的算法设计决策，低层需要精确的代码实现。MLEvolve通过自适应编码模式实现了这两个层次的解耦。\n\n系统可以根据当前任务的性质自动切换编码模式：在需要探索新算法架构时采用高层设计模式，在需要实现具体功能时切换到代码生成模式。这种灵活性使得MLEvolve能够稳定地处理长周期任务，避免了单一模式下的能力瓶颈。\n\n## 实验结果：SOTA性能验证\n\n研究团队在MLE-Bench基准测试上对MLEvolve进行了全面评估，结果令人印象深刻。\n\n### MLE-Bench上的卓越表现\n\nMLE-Bench是评估机器学习工程智能体的权威基准，包含多个真实世界的Kaggle竞赛任务。MLEvolve在这个基准上达到了SOTA（State-of-the-Art）性能，具体表现在：\n\n- **平均奖牌率**：在12小时预算内（仅为标准运行时的一半），MLEvolve的平均奖牌率超越了所有现有方法。\n\n- **有效提交率**：MLEvolve能够生成更多通过验证的有效提交，表明其生成的解决方案质量更高、更稳定。\n\n### 跨领域泛化能力\n\n除了在MLE-Bench上的表现，研究还测试了MLEvolve在数学算法优化任务上的能力。令人惊讶的是，MLEvolve甚至超越了专门用于算法发现的方法（如AlphaEvolve），展现了强大的跨领域泛化能力。\n\n这一结果表明，MLEvolve学到的算法发现能力并非局限于特定领域，而是具有一定的通用性，可以迁移到不同类型的优化问题。\n\n## 技术意义与影响\n\nMLEvolve的提出标志着自动机器学习（AutoML）领域的一个重要里程碑。与早期的NAS方法主要关注神经网络架构不同，MLEvolve能够发现和优化完整的机器学习算法流程，包括数据预处理、特征工程、模型选择、超参数调优等各个环节。\n\n这一进展的意义在于：\n\n**降低算法开发门槛**：未来，非专家用户可能只需描述问题，系统就能自动发现适合的算法解决方案。\n\n**加速科学研究**：在数学、物理等领域，MLEvolve可以帮助研究者快速探索可能的算法变体，加速理论发现。\n\n**推动AI自我改进**：自我进化的能力是通向更高级AI系统的关键一步，MLEvolve展示了LLM在这一方向上的潜力。\n\n## 局限与未来方向\n\n尽管MLEvolve取得了显著进展，但仍有一些值得注意的限制和未来研究方向：\n\n**计算资源需求**：算法发现任务本身就需要大量计算资源，如何进一步提升效率、降低资源消耗是一个重要课题。\n\n**可解释性**：MLEvolve发现的算法虽然有效，但其内部决策过程的可解释性仍有提升空间。\n\n**更广泛的任务类型**：当前主要在Kaggle风格的结构化数据任务上验证，如何扩展到计算机视觉、自然语言处理等更广泛的领域是未来方向。\n\n## 结语\n\nMLEvolve代表了自动机器学习领域的一个重要突破。通过渐进式图搜索、回顾性记忆和自适应编码等创新技术，该框架成功实现了机器学习算法的自动发现，并在权威基准上达到了SOTA性能。随着LLM能力的持续提升和搜索算法的进一步优化，我们可以期待未来会有更多类似MLEvolve的系统涌现，逐步将人类从繁琐的算法调优工作中解放出来，让AI真正具备自我改进和自我进化的能力。