PDAGENT-BENCH：评估大模型在芯片物理设计中的智能体能力

本文介绍PDAGENT-BENCH，首个针对VLSI物理设计领域的LLM/VLM智能体综合评测基准，涵盖353个任务，从概念理解到全流程实现五个维度评估模型能力，填补该领域标准化评估空白。

原作者/维护者：arXiv authors 来源平台：arxiv 原始标题：PDAGENT-BENCH: Characterizing, Grounding, and Architecting LLM Agents for VLSI Physical Design 原始链接：http://arxiv.org/abs/2606.17253v1 发布时间：2026-06-15T19:54:57Z

芯片设计是现代科技核心基础设施，VLSI物理设计涉及布局、布线、时序优化等复杂任务，传统依赖经验工程师与EDA工具完成。

近年LLM/VLM在芯片前端设计（如RTL代码生成）表现出色，但物理设计应用滞后，核心原因是缺乏标准化评测基准衡量智能体在工具交互、迭代优化流程中的表现。

PDAGENT-BENCH是首个VLSI物理设计领域LLM/VLM智能体综合评测基准，核心理念为“任务级评估”与“工作流级执行”结合，要求智能体在真实EDA环境完成端到端任务。

包含353个任务（概念问题+工业案例），覆盖五个能力维度：

1. 基础知识：测试物理设计基本概念与原理
2. 报告理解：解析EDA工具生成的时序、功耗等报告
3. 根因分析：诊断设计违规或性能瓶颈并提出建议
4. 脚本生成：生成Innovus等工具的Tcl/Python脚本
5. 全流程实现：完成从网表到版图的完整设计流程

对11个先进LLM/VLM模型评测显示：概念性任务表现较好，但工具交互与执行环节性能差距大，如Innovus脚本生成准确率仅42.2%；模型在长程多阶段推理任务中表现不佳，难以维持跨阶段连贯推理。

引入人类技能增强的智能体工作流显著提升端到端物理设计性能。当前阶段人机协作更优：LLM擅长快速生成候选方案、自动化重复任务；人类工程师提供领域直觉、处理异常、做出战略决策。

PDAGENT-BENCH是标准化可复现的评估框架，定义统一智能体物理设计工作流规范，支持真实EDA环境闭环评估。其价值包括：

• 公平比较不同方法
• 精确定位模型能力短板
• 持续监测领域进展
• 便于与工业EDA工具链集成

PDAGENT-BENCH标志LLM智能体评测向专业领域深入，未来AI评估需注重“专业能力”（特定领域工具链完成实际工作）。该基准揭示工具交互、长程规划、迭代优化是下一代智能体需攻克的核心难题。