SignMotion-LLM：用大语言模型生成手语动作的研究探索

SignMotion-LLM项目旨在解决文本或语音自动转换为自然流畅手语动作的难题，通过VQ-VAE技术将手语动作数据标记化，为训练能够生成手语的大语言模型奠定基础。项目涉及SMPL-X人体模型、SignAvatars数据集等，探索多模态AI在无障碍技术中的应用，代表手语合成技术的前沿方向。

手语是听障群体的重要交流方式，但传统基于规则或模板的方法难以捕捉手语的复杂语法和表达细微差别。SignMotion-LLM项目核心目标是构建文本输入转连续手语动作序列的系统，采用分阶段策略：先通过VQ-VAE将手语动作数据标记化（连续序列转离散标记），再用这些标记训练/微调大语言模型。

项目技术架构以动作标记化为核心，使用SignAvatars数据集（How2Sign子集）的SMPL-X格式人体动作序列。VQ-VAE通过编码器压缩动作序列为离散标记，解码器重构回动作，使高维连续数据可被LLM处理。实验笔记本涵盖不同方向：如02对比优化器（Muon与AdamW）和扩张设计影响，07探索规范6D SMPL-X特征训练，11对比模型输出与真实数据差异。

项目采用MPJPE（平均关节位置误差，惩罚姿态与全局位置错误）和MPJPE-PA（普罗克鲁斯提斯对齐后误差，专注姿态质量）作为评估指标。不同配置模型表现差异显著：三流架构+1024码本在24FPS下获MPJPE 35.839mm、MPJPE-PA 58.151mm；联合标记时空VQ-VAE更优，达MPJPE 13.682mm、MPJPE-PA 7.680mm，说明架构和训练策略对性能起决定性作用。

项目依赖SignAvatars（提供SMPL-X参数化人体数据）和How2Sign（提供RGB视频与文本元数据）。实验用Jupyter Notebook，结果保存在artifacts目录（含图表、CSV、视频等）。环境需CUDA-enabled PyTorch及smplx、imageio等库，WSL用户有避免CUDA初始化问题的启动命令。

项目社会意义：若成功可提供听障群体更自然沟通工具，打破语言障碍；学术价值：探索连续动作数据与LLM结合新范式，可应用于舞蹈合成等领域。当前挑战：提高动作自然流畅性、处理手语语法语义复杂性、实现实时生成。未来方向：多模态大语言模型结合视觉、文本、动作数据的统一模型。