CUDAnalyst：揭示LLM自进化智能体在CUDA内核生成中的反馈-规划机制

【导读】CUDAnalyst：揭示LLM自进化智能体在CUDA内核生成中的反馈-规划机制

本文介绍arXiv于2026年5月26日发布的研究（论文链接：http://arxiv.org/abs/2605.26720v1），提出CUDAnalyst分析框架，通过轨迹冻结和选择性反馈注入技术，揭示自进化LLM智能体如何将异构反馈转化为规划决策。核心发现包括：显式规划仅在反馈对齐时有效、多反馈交互产生协同效应、强模型规划能力可迁移到弱模型。该框架为理解自进化系统提供了新工具。

LLM作为自进化智能体在CUDA内核生成任务中展现显著收益，但核心问题——规划决策如何归因不同来源的异构反馈信号——仍未解决。传统端到端消融实验因迭代规划放大早期扰动、混淆反馈效应与轨迹漂移，导致机制不透明，阻碍系统理解与优化。

CUDAnalyst是针对规划决策的统一分析层，核心创新为两项技术：

1. 轨迹冻结：固定部分生成轨迹，隔离特定反馈组件影响，避免扰动级联放大，稳定生成级评估；
2. 选择性反馈注入：精确控制反馈信号的注入时机与内容，实现联盟式归因，分析反馈效应及交互。

通过CUDAnalyst分析得出三大结论：

1. 显式规划条件有效性：仅当反馈与目标对齐时有益，偏差/噪声反馈下反而增加复杂性；
2. 多反馈交互结构化涌现：有效规划源于不同类型反馈（性能、编译错误、语义正确性等）的结构化组合协同；
3. 规划能力跨模型迁移：强推理模型的高级规划能力可部分迁移到弱模型，为蒸馏/迁移学习提供可能。

研究结论在多种实验设置下表现稳健：

• 覆盖不同基座模型、代表性CUDA内核生成工作负载、不同归纳学习机制；
• 跨轴一致性表明反馈-规划结构具有普适性，不局限于特定配置。

CUDAnalyst的应用价值体现在：

1. 诊断调试：识别反馈对规划的真实贡献，定位系统瓶颈；
2. 反馈工程：针对性设计反馈收集处理流程，确保与目标一致；
3. 模型蒸馏：云端强模型规划能力迁移到边缘轻量模型，平衡效率与性能。

当前局限：

• 聚焦CUDA内核生成领域，其他代码任务适用性待验证；
• 联盟式归因计算开销大，实时系统应用受限。 未来方向：
• 扩展到AutoML、NAS等自进化场景；
• 开发高效归因算法降低计算成本。