ACRoCo：基于大语言模型的动作约束多机器人协作框架

ACRoCo是一个创新的多机器人协作框架，通过动作合法性掩码将开放式LLM规划转换为约束决策，结合MAPPO训练和混合LLM+RL策略优化协作行为。

• 原作者/维护者：flybbits
• 来源平台：GitHub
• 原始标题：ACRoCo: Action-Constrained Dialectic Multi-Robot Collaboration with Large Language Models
• 原始链接：https://github.com/flybbits/ACRoCo
• 来源发布时间/更新时间：2026-05-29T08:12:35Z

在多机器人系统领域，如何让多个智能体高效协作完成复杂任务一直是一个核心挑战。传统方法往往依赖于预定义的规则和固定的行为模式，难以适应动态变化的环境。近年来，大语言模型（LLM）展现出了强大的推理和规划能力，为机器人控制带来了新的可能性。然而，将LLM直接应用于机器人控制存在一个重要问题：LLM的输出往往是开放式的自然语言描述，而机器人执行需要精确、可验证的动作指令。

ACRoCo（Action-Constrained Dialectic Multi-Robot Collaboration）正是为解决这一矛盾而设计的创新框架。它巧妙地将开放式LLM规划转换为动作约束决策，通过合法性掩码（legality masks）过滤不可达或无效的动作，从而实现安全、可靠的多机器人协作。

ACRoCo的核心洞察在于：与其让LLM直接生成动作指令，不如让LLM在预定义的合法动作空间中进行选择。这种设计带来了几个显著优势：

首先，安全性得到保障。通过合法性掩码，系统可以在策略选择前自动排除危险或不可执行的动作，避免机器人执行可能导致损坏或危险的指令。

其次，可解释性大幅提升。由于动作空间是明确定义的，每个决策都可以追溯到具体的合法动作集合，便于调试和优化。

最后，训练效率显著提高。约束动作空间减少了策略搜索空间，使得强化学习算法能够更快地收敛到最优策略。

ACRoCo采用了一种精妙的因子化设计来处理动作合法性。每个智能体的动作被分解为两个关键维度：动词/对象（verb/object）和目标（target）。系统为每个维度分别计算合法性掩码，然后进行联合过滤。

这种因子化设计的好处在于，它可以灵活地处理不同类型的约束。例如，在某些场景中，某个对象可能对所有智能体都不可达；而在另一些场景中，特定智能体可能无法执行某些类型的动作。通过分离这两个维度，系统可以更精确地控制动作选择。

为了让策略动作与可执行的运动阶段对齐，ACRoCo引入了原语感知架构。宏观动作由可复用的原语组合而成，包括：

• REACH：移动到目标位置
• GRASP：抓取对象
• LIFT：提升对象
• TRANSLATE：平移移动
• RELEASE：释放对象
• PUSH：推动对象
• WAIT：等待

这些原语构成了机器人动作的基础词汇表。通过组合这些原语，系统可以构建复杂的宏观动作，同时保持与底层运动控制的一致性。

ACRoCo设计了一种创新的奖励机制，将语义层奖励和物理层奖励根据执行阶段进行混合。在决策阶段，系统更关注语义层面的目标达成；而在执行阶段，则更关注物理层面的动作质量。

这种阶段自适应的奖励设计解决了多机器人协作中的一个经典难题：如何在高层规划与底层执行之间建立有效的反馈循环。通过动态调整奖励权重，系统可以在不同阶段优化不同的目标，从而提高整体性能。

在多智能体训练方面，ACRoCo采用了MAPPO（Multi-Agent PPO）算法和CTDE（Centralized Training with Decentralized Execution）范式。这种组合既保证了训练时的信息共享和协调优化，又确保了执行时的分布式决策能力。

CTDE范式特别适合实际部署场景：在训练阶段，系统可以利用全局信息来学习最优的协作策略；而在执行阶段，每个智能体只需要局部观测就可以做出决策，降低了对通信带宽和延迟的要求。