多智能体系统的强化学习新视角：从编排轨迹看LLM Agent协作优化

本文提出编排轨迹分析框架，系统梳理基于LLM的多智能体系统中强化学习研究现状，揭示奖励设计、信用分配和编排决策三个技术维度，并指出学术研究与工业实践间的显著差距。框架通过记录多智能体交互事件（如子Agent创建、任务委派等），为理解协作优化提供新视角。

早期LLM Agent聚焦单一智能体调用工具、规划任务，随场景复杂化，单一Agent能力边界显现，多智能体协作架构成为热点。多智能体系统中RL挑战升级：需优化单个Agent动作及多Agent间任务分配、协调与整合，催生编排轨迹分析视角。

编排轨迹框架

编排轨迹是记录多智能体关键事件的时间交互图，事件类型包括子Agent创建、任务委派、通信、工具使用、结果返回、聚合、停止决策等，助力系统分析RL问题。

三大技术维度

1. 奖励设计：八大类别，重点编排相关奖励（并行加速、分割正确性、聚合质量）与传统动作级奖励互补。
2. 信用分配：八个粒度单元（Token级到团队级），消息级信用分配在文献中稀缺。
3. 编排决策：五个子问题（何时创建、委派给谁、如何通信、如何聚合、何时停止），停止决策的显式RL方法几乎空白。

对比Kimi Agent Swarm、OpenAI Codex、Anthropic Claude Code等系统发现：存在“规模差距”——工业部署规模与学术评估体系差异巨大，反映工业界可能掌握远超公开文献的技术细节。研究者需开发更具扩展性的评估基准，实践者需谨慎评估学术方法的生产适用性。

编排轨迹框架为多智能体协作优化提供系统视角；信用分配中消息级机制稀缺，停止决策的RL研究空白；学术与工业间存在显著规模差距，需弥合理论与实践的脱节。

未来需突破：1. 细粒度信用分配（消息级、Token级）；2. 停止决策优化；3. 大规模评估基准；4. 理论与实践结合。研究团队发布配套资源库（84篇标注论文、32条排除记录、语料统计、JSON Schema）助力可复现研究。