Single-Stream AV Transformer：统一音视频文本生成的单流自注意力架构

该项目实现了daVinci-MagiHuman单流架构，通过统一的token序列和纯自注意力机制处理文本、视频和音频，探索多模态创意系统的未来方向。

在生成式AI的浪潮中，视频生成模型已经取得了令人瞩目的进展。然而，当前主流的多模态生成架构存在一个根本性的设计选择：它们通常采用多流（multi-stream）或交叉注意力（cross-attention）机制来处理不同模态的数据。这种设计虽然直观，但在实际应用中暴露出一系列问题。

Single-Stream AV Transformer项目提出了一种激进的替代方案：将文本、视频和音频统一到一个token序列中，完全通过自注意力机制进行处理。这一架构创新源自daVinci-MagiHuman研究团队（SII-GAIR / Sand.ai）在2026年3月发表的工作，旨在为未来的创意AI系统提供更简洁、更连贯的多模态生成能力。

当前主流的多模态生成模型通常采用如下架构：

文本编码器 ──────┐
                 ├──► 交叉注意力 ──► 输出
视频编码器 ──────┘

音频编码器 ──────┐
                 ├──► 交叉注意力 ──► 输出
视频编码器 ──────┘

这种分离式架构带来了几个深层问题：

内存开销的二次增长

交叉注意力的内存复杂度随序列长度呈二次方增长。当处理长视频序列时，这种开销会迅速变得不可承受。

同步误差的累积

不同模态之间的同步依赖于交叉注意力机制的"桥接"。在生成长序列时，这些桥接点上的微小误差会随时间累积，最终导致音画不同步、口型与语音不匹配等问题。

训练不稳定性

三个独立的编码器意味着三个潜在的故障点。多流架构的复杂性使得大规模训练变得更加困难，调参空间也呈指数级增长。

Single-Stream架构的革命性在于其简洁性：

[文本TOKEN] [视频TOKEN] [音频TOKEN]
         └──────────┬──────────────┘
                    │
              自注意力机制
              (统一序列)
                    │
              Turbo VAE解码器
                    │
              最终输出

一个模型。一种注意力机制。所有模态在同一个序列中处理。

这种设计的优势是多方面的：

消除同步问题

由于所有模态共享同一个注意力层，每个注意力头都能同时"看到"文本、视频和音频的信息。这从根本上消除了多流架构中的同步漂移问题。

架构简化

移除交叉注意力层不仅减少了参数数量，更重要的是简化了梯度流动路径，使训练更加稳定。

更好的跨模态理解

统一处理使模型能够学习更深层的跨模态关联，例如理解特定的语音语调与面部表情之间的微妙联系。

项目引入了创新的Sandwich Layer来解决多模态梯度稳定问题：

class SandwichLayer(nn.Module):
    """
    在不增加交叉注意力开销的情况下稳定多模态梯度流动。
    在注意力前后都应用RMSNorm，并引入可学习的门控机制。
    防止文本、视频和音频token激活尺度差异过大时
    出现梯度消失或爆炸。
    """

这一设计的核心洞察是：文本token和视频patch的激活分布存在数量级差异。传统的LayerNorm在这种混合模态序列上表现不佳，而Sandwich Layer通过双重归一化和门控机制解决了这一问题。

为了应对单流架构带来的计算挑战，项目开发了Turbo VAE解码器。这一组件实现了：

• 4倍速提升：相比标准VAE解码器，推理速度提升4倍
• 感知质量保持：在人类无法区分的阈值之上维持输出质量
• 消除瓶颈：防止VAE成为整个推理流程的性能瓶颈

标准LayerNorm在混合模态序列上失败的原因是文本和视频token的激活尺度分布差异巨大。项目开发了针对统一序列的定制RMSNorm实现，在统一序列内部按模态进行归一化，确保反向传播过程中梯度稳定。

• PyTorch 2.x：利用最新的编译优化和性能特性
• Flash Attention 2：支持长序列的高效注意力计算，包含JVP支持以确保TVM兼容性
• 混合精度训练：BF16格式平衡数值稳定性和内存效率