UMo：面向实时语音驱动数字人的统一稀疏运动建模

本文介绍UMo——一种面向实时语音驱动数字人的统一稀疏运动建模架构，通过空间稀疏的专家混合（MoE）框架和时间稀疏的关键帧中心设计，在统一框架下处理文本、音频和运动token，实现低延迟条件下的高保真实时面部和手势动画生成，解决现有技术中“质量-延迟”权衡的关键瓶颈。

在游戏、虚拟制作和交互媒体领域，语音驱动的手势和面部动画是构建富有表现力数字人的核心能力。现有技术面临两难：单模态方法效率高但无法充分利用多模态数据潜力；多模态模型能融合更多信息，却受限于表示能力和计算吞吐量，难以同时实现高质量运动生成和实时性能，这种“质量-延迟”权衡制约了数字人技术实用化。

UMo架构核心

1. 统一多模态Token表示：文本、音频、运动均表示为统一token序列，简化架构、增强交互、灵活扩展。
2. 空间稀疏：专家混合（MoE）框架：动态选择部分专家网络处理输入，实现参数量与计算量解耦、专业化学习、可扩展性。
3. 时间稀疏：关键帧中心设计：先生成捕捉主要变化的关键帧，再通过插值重建密集序列，降低生成帧数并保证时间连贯性。

训练策略

• 多阶段渐进训练：预训练（基础运动表示）→多模态对齐（语音-动作配对）→微调（高质量小规模数据）。
• 针对性音频增强：声学多样性增强（变速、变调、加噪）+语义一致性保持，提升模型鲁棒性。

评估指标

涵盖动作质量（自然度、多样性、语音匹配度）、面部动画质量（表情丰富度、口型同步）、时间连贯性、延迟表现。

核心结果

1. 低延迟高质量：打破“质量-延迟”权衡魔咒；
2. 实时性能：标准硬件上实现实时推理；
3. 细粒度对齐：捕捉语音与动作的微妙协同（如重音与强调手势同步）；
4. 面部与手势协调：统一架构避免两者不协调。

UMo的贡献包括：

• 架构层面：首次同时应用空间稀疏（MoE）和时间稀疏（关键帧）机制于语音驱动动作生成；
• 训练层面：多阶段训练与音频增强组合提供可复用方法论；
• 应用层面：证明消费级硬件实现高保真实时数字人的可行性，降低落地门槛。

UMo为多行业带来新可能：

• 游戏与虚拟世界：提升NPC动画自然度、Vtuber实时表现；
• 影视制作：加速虚拟制作流程，降低迭代成本；
• 远程会议协作：增强VR/AR会议临场感；
• 教育与培训：提升虚拟教师表现力，优化学习体验。

UMo仍需探索：

1. 风格控制：加强特定风格（文化手势、个性化表达）的控制能力；
2. 多说话人交互：扩展到多人对话场景；
3. 全身动作：协同生成全身动作（下肢、行走等）；
4. 情感表达：根据语音情感调整表情姿态。