HypoExplore：假设驱动的智能体架构发现框架

本文介绍HypoExplore，一个将神经网络架构发现形式化为假设驱动科学探究的智能体框架。其核心思想是模拟人类科学家的研究过程，通过进化分支、假设记忆银行和置信度追踪等关键组件，在CIFAR-10数据集上实现初始架构（18.91%准确率）到最佳架构（94.11%准确率）的性能跃升，并具备跨数据集（如CIFAR-100、Tiny-ImageNet）和跨领域（如MedMNIST医疗影像）的泛化能力。

神经网络架构设计经历了从手工设计到自动化搜索的阶段：早期依赖研究者直觉的AlexNet、ResNet等架构；随后神经架构搜索（NAS）方法尝试自动化，但存在计算成本高、缺乏可解释性的问题。大型语言模型（LLM）的兴起为架构发现带来新可能，HypoExplore将架构发现重新定义为假设驱动的科学探究过程，实现知识积累与理解。

框架核心思想

模拟人类科学家研究过程：提出假设→设计实验→验证假设→迭代改进。

关键组件

1. 高层研究方向：保留人类专家经验，指定方向后系统自动填充细节；
2. 进化分支机制：基于父架构改进形成可追溯的架构树；
3. LLM驱动假设生成：根据研究状态选择父假设并提出修改方案；
4. 双策略引导：平衡利用（优化已有成功）与探索（解决高不确定性）；
5. 轨迹树：记录架构谱系，支持可追溯、知识传承与失败分析；
6. 假设记忆银行：追踪假设置信度，通过实验更新并指导后续选择；
7. 多视角反馈代理：从性能、效率、稳定性、对比等角度分析实验结果，更新置信度。

CIFAR-10性能提升

初始随机架构准确率18.91%，进化后最佳架构达94.11%，提升超75个百分点。

泛化能力验证

• 跨数据集：在CIFAR-100（100类分类）、Tiny-ImageNet（大规模图像识别）上表现良好；
• 跨领域：在MedMNIST医疗影像数据集上取得最先进性能，证明通用性。

假设置信度的预测性

随实验积累，置信度与实际性能相关性提升，成为架构质量可靠预测指标。

知识迁移

学到的设计原则（如深度可分离卷积提升效率）可跨进化谱系传播，构建对设计空间的真实理解。

与传统NAS对比

• 可解释性：轨迹树和记忆银行提供完整决策历史；
• 知识积累：跨实验积累知识，系统逐步“聪明”；
• 样本效率：用更少实验找到高性能架构；
• 人机协作：人类注入先验知识，系统自动处理细节。

局限

• 计算成本：架构训练评估仍需大量资源；
• LLM依赖：领域知识不足可能导致不合理假设；
• 探索深度：对大规模模型（如Transformer变体）扩展性待验证；
• 理论理解：假设置信度预测性的理论机制需深入分析。

未来方向

• 探索更高效的代理评估方法；
• 结合领域专家模型弥补LLM不足；
• 扩展至大规模模型探索。

AI研究启示

• 将架构发现视为科学发现而非单纯优化；
• LLM智能体可作为科学研究助手；
• 从“找到好架构”转向“理解架构为何好”的转变是AI智能化关键。