SGT：统一多模态模型的语义生成调优新范式

SGT（Semantic Generative Tuning）是首个系统研究统一多模态模型生成后训练的工作，通过图像分割作为生成代理任务，在单一架构内实现视觉理解与生成的真正协同。

• 原作者/维护者： song2yu（Songsong Yu）、Yuxin Chen、Ying Shan、Yanwei Li
• 来源平台： GitHub
• 原项目名： SGT
• 原始链接： https://github.com/song2yu/SGT
• 论文链接： https://arxiv.org/pdf/2605.18714
• 项目主页： https://song2yu.github.io/SGT/
• 发布时间： 2026年6月3日
• 所属机构： 上海交通大学、腾讯 ARC Lab

---

统一多模态模型（Unified Multimodal Models, UMMs）代表了人工智能领域的重要发展方向，这类模型旨在同时处理视觉理解和生成任务，实现真正的"看"与"画"的统一。然而，现有方法面临一个根本性困境：理解和生成任务通常被独立优化，导致表征不对齐，错失了两个能力之间的协同潜力。

传统的像素级对齐方法过度强调纹理细节，却未能提供结构化的语义指导。这种"只见树木不见森林"的做法限制了模型在复杂场景下的表现。研究社区迫切需要一种新的训练范式，能够在保持架构通用性的同时，有效桥接理解与生成之间的鸿沟。

---

SGT（Semantic Generative Tuning，语义生成调优）提出了一个简洁而深刻的洞见：使用高级分割任务作为生成训练的目标。这一方法将图像分割视为生成代理任务，通过语义层面的监督来引导模型学习更鲁棒、更结构化的视觉表征。

与边缘检测（低层）或深度估计（中层）不同，分割任务提供了高层语义信息，这与视觉感知的需求高度一致。研究表明，纹理导向的任务往往会分散模型对关键语义细节的注意力，而分割任务则强制模型关注物体的结构和语义边界。

---

SGT 的有效性在两种截然不同的架构上得到了验证：

• BAGEL（7B+7B 参数）：字节跳动 Seed 团队开发的多模态模型
• OmniGen2（3B+4B 参数）：VectorSpaceLab 开发的统一生成模型

这种跨架构的一致性表明，SGT 的方法论具有广泛的适用性，不依赖于特定的模型设计。

研究团队通过系统的对比实验，揭示了以下关键洞察：

1. 高层语义任务主导性能

在所有理解基准测试中，分割任务始终优于中层（深度估计）和底层（边缘检测）任务。这一发现验证了高层监督与感知需求的对齐性，而纹理导向的任务反而会引入无关干扰。

2. 视觉监督增强感知，但不影响推理

生成调优显著提升了以视觉为中心的任务表现，如空间推理和幻觉抵抗能力，但数学/图表推理能力基本不受影响。这表明视觉监督能够改善表征质量，但不会赋予模型额外的逻辑先验。

3. 空间保真度普遍提升

无论语义粒度如何，所有代理任务都能改善生成的空间保真度，尤其是对于位置敏感的提示。重建视觉结构的过程迫使模型学习准确的空间布局。

研究还揭示了一个重要发现：SGT 的性能随分割数据量的增加而单调提升。这意味着通过扩充高质量的分割数据，可以持续改进模型性能，为实际应用提供了明确的数据策略指导。

---