Audio-Omni：首个统一音频理解、生成与编辑的全能框架

Audio-Omni是首个端到端统一框架，可在通用声音、音乐和语音领域实现生成与编辑，并集成多模态理解能力。其核心架构结合冻结多模态大语言模型（负责高层语义推理）与可训练扩散Transformer（负责高保真合成），在多项基准测试中达到最先进性能，为音频AI领域迈向通用生成智能提供关键突破。

当前音频AI能力多由独立模型处理，缺乏统一框架整合理解、生成、编辑三大核心任务。碎片化带来诸多问题：开发者需维护多个API与数据格式，模型间信息隔离限制跨任务协同（如理解模型无法直接指导编辑）。

Audio-Omni架构核心为两类互补组件协同：

1. 冻结多模态大语言模型（MLLM）：作为语义理解引擎，解析自然语言指令、理解音频语义，利用预训练知识避免全量微调成本；
2. 可训练扩散Transformer：作为高保真合成引擎，通过逐步去噪生成高质量音频（涵盖音效、音乐、语音）；
3. 协同机制：MLLM输出高层语义表征引导扩散Transformer生成，实现复杂指令（如风格转换、口音调整）的精准执行。

数据集：团队构建AudioEdit大规模数据集（超100万对编辑配对），经自动筛选、人工验证确保多样性与质量，解决音频编辑数据稀缺问题。 性能：在音频理解、生成、编辑基准测试中，超越所有先前统一方法，性能比肩甚至优于专门化专家模型，验证统一架构有效性。

Audio-Omni展现非针对性训练的涌现能力：

1. 知识增强推理生成：利用MLLM知识库生成符合特定风格（如巴洛克管风琴音乐）的音频；
2. 上下文学习生成：从少量示例快速掌握新风格/编辑模式，无需额外微调；
3. 零样本跨语言控制：支持非英语指令（如中文、日语），源于MLLM多语言预训练基础。

Audio-Omni标志音频AI向通用生成智能迈进，简化开发流程，为跨模态应用（如视频音轨生成、剧本音频创作）提供可能。团队将开放代码、模型与数据集加速领域进步，其成功证明统一架构可兼顾多任务与高性能，为其他模态建模及通用AI发展提供借鉴。