HandX：双手交互动作生成的统一基础框架

HandX项目构建了涵盖数据、标注和评估的统一基础框架，专注于生成逼真的双手交互动作，解决现有全身模型在手指精细动作捕捉上的不足。该框架通过三位一体架构（数据层整合与新建、标注层大语言模型驱动解耦、评估层手部专用指标）为双手交互动作生成研究提供完整生态系统，具有机器人学习、VR/AR、动画制作等多领域应用前景，并已开放相关资源。

当前人体动作生成研究主要集中在全身大范围运动（如行走、跑步），但忽略手指关节精细控制、接触时机把握及双手协调等关键线索，导致在拧瓶盖、系鞋带等精细操作场景中表现不足。根源在于高质量双人双手交互动作捕捉数据稀缺，现有数据集缺乏手指动力学细节或双手协作场景；同时手部动作语义标注复杂，需描述手指弯曲程度、接触点位置等精细信息，现有标注体系难以满足需求。

HandX框架包含三个核心维度：

1. 数据层：整合筛选现有公开数据集，同时新建覆盖双人双手交互场景的数据集，注重手指关节角度、接触点、双手空间关系等精细细节；
2. 标注层：采用解耦策略，先提取接触事件、手指弯曲程度等量化特征，再利用大语言模型将特征转换为丰富语义描述（如“右手食指用指腹轻触杯子边缘准备施力”），可扩展性强；
3. 评估层：设计手部专用指标，从手指关节角度准确性、双手协调程度、接触事件时序正确性、语义连贯性等维度全面评估生成质量。

基于HandX数据和标注，对扩散模型和自回归模型进行基准测试（涵盖文本描述、目标姿态、动作类别控制等模式），结果显示模型生成高质量手部灵巧动作，各项手部专用指标显著提升。同时观察到规模效应：模型参数量从基础扩展到大规模时，手指关节角度误差降低约30%，双手协调一致性提升25%，尤其在精细操作任务中动作更流畅自然，呼应大型语言模型的Scaling Law。

HandX为多领域带来新可能：

• 机器人学习：帮助机器人理解人类操作技能，学习灵巧抓取策略；
• VR/AR：提升虚拟化身表现力，实现自然复杂手势操作；
• 动画制作：减少手动精细手部动画工作量，让动画师聚焦创意。研究团队已公开发布HandX数据集（含动作数据、语义标注、评估工具），推动领域进步。

HandX是人体动作生成向精细复杂场景迈进的重要一步，通过构建数据、标注、评估完整框架，为双手交互动作生成奠定坚实基础。规模效应的发现表明，扩大模型和数据规模仍是提升该领域性能的有效途径。论文链接：http://arxiv.org/abs/2603.28766v1