代码智能体能否复现计算材料科学的发现？AutoMat 基准测试揭示的局限

本文通过AutoMat基准测试评估LLM代码智能体在计算材料科学领域的复现能力。研究发现最佳配置的成功率仅为54.1%，主要失败原因包括程序不完整、方法偏差和执行脆弱性。AutoMat基准设计了三大挑战（恢复未明确程序、导航专业工具链、证据评估），并从真实论文构建数据集。结果为AI for Science领域提供了现实检验，强调领域知识与人机协作的重要性。

大语言模型代码智能体在软件工程基准中表现优异，但能否迁移到计算科学工作流存疑。两者差异在于：1. 计算科学需遵循复杂领域特定实验流程；2. 结果需在科学主张背景下解释；3. 需熟练使用专业科学计算工具（如VASP、LAMMPS等）。

AutoMat基准含三大核心挑战：1. 从论文文本推断完整计算步骤（算法、参数、预处理、依赖）；2. 正确选择/配置专业工具链（第一性原理计算、分子动力学、数据分析工具）；3. 评估计算结果是否支持科学主张（统计显著性、误差来源、证据区分）。数据集由领域专家合作构建，基于真实材料科学论文，包含原始文本、图表数据及专家验证的黄金复现方案。

最优配置下代码智能体复现成功率为54.1%，近一半尝试失败。失败模式分析：约40%源于程序不完整（遗漏预处理、忽略参数调优、未识别隐含依赖）；35%为方法偏差（算法/模型选择错误、参数不符）；25%为执行脆弱性（工具调用错误、环境配置、数值稳定性问题）。最难场景是仅从论文文本重建工作流，因隐含知识缺失、歧义解析难、上下文不足。

不同基础模型表现：GPT-4系列代码生成较好但领域理解不足；Claude系列长上下文优势明显但工具使用精度待提升；开源模型与专有模型差距显著（复杂推理任务尤甚）。智能体配置影响：ReAct风格透明但步骤复杂；计划-执行分离减少中间错误；工具深度集成显著提高成功率。

当前局限：AI科学发现报道过于乐观，纯粹代码生成能力不足以应对科学任务，人类专家监督仍不可或缺。改进方向：1. 增强领域知识集成（专用知识库、领域模板、物理/化学约束整合）；2. 改进工具使用能力（智能选择机制、最佳实践库、错误诊断恢复）；3. 提升科学推理（方法论理解、统计分析、不确定性量化）。

AutoMat不仅是AI基准，也是评估论文可重复性的工具，揭示许多论文计算描述不完整。教育方面：需培养科学家编写可复现流程、合理使用AI工具、验证自动化输出的能力。政策伦理：需确保AI辅助研究透明度，建立结果验证标准，平衡效率与可靠性。