VLA Client Skill：让大语言模型直接控制机械臂的端到端方案

项目核心

vla_client_rbnx是ROS2技能包，实现视觉-语言-动作（VLA）闭环控制，让LLM直接调用机械臂执行复杂操作，绕过传统运动规划延迟问题。

项目来源

• 原作者/维护者：lhw2002426
• 来源平台：GitHub
• 发布时间：2026年6月14日
• 原始链接：https://github.com/lhw2002426/vla_client_rbnx

传统机器人操作采用感知-规划-执行分离架构，如抓取任务需YOLO识别→几何计算→MoveIt规划，每步延迟3-5秒，累积影响复杂任务效率。

VLA模型兴起带来端到端控制范式：直接从视觉输入和自然语言指令生成动作序列，无需中间表示，为LLM调用机器人技能提供可能。

闭环控制管道

数据流：相机话题→observe→VLA服务器→安全过滤器→/arm/pos_cmd→piper_ctl→机械臂（关节状态反馈闭环）

关键设计

• 绕过MoveIt：直接发送指令到piper_ctl，实现10Hz控制频率
• 多源视觉：全局相机（场景理解）+腕部相机（精细操作），统一resize到256x256
• 本体感知：关节状态（/arm/joint_states_single）+末端位姿（/arm/end_pose）
• 服务发现：默认Atlas动态发现VLA服务器，支持直连调试

内置安全过滤器：

1. 关节限位：6关节角度限制±2.618弧度（±150度）
2. 速率限制：单步关节变化≤0.1弧度
3. 夹爪范围：开合值0.0-1.0
4. 紧急复位：manipulation/reset服务调用MoveIt回停靠位置

特性	传统pick_skill_rbnx	VLA方案vla_client_rbnx
方法	YOLO+几何+MoveIt	端到端VLA模型
控制频率	3-5秒/步	10Hz（100ms/步）
安全机制	MoveIt碰撞检测	内置过滤器
适用场景	简单抓取	复杂语言引导操作

LLM接口

• robonix/skill/vla/driver：技能生命周期管理
• robonix/skill/vla/execute：输入自然语言指令（如“把红积木放蓝盒子”）自动执行

部署依赖

1. ROS2 Humble + rclpy
2. vla_server_rbnx（GPU推理）
3. OrbbecSDK_rbnx（相机流）
4. piper_ctl_rbnx（执行指令）

意义

• 范式转变：从分层架构到端到端学习，打通自然语言到物理动作通道
• 开发者：无需复杂运动学代码
• 用户：日常语言交互机器人

挑战

需解决VLA模型泛化、安全性、硬件迁移问题，是通用机器人助手的重要一步。