# BAGEL：字节跳动开源的统一多模态基础模型

> 字节跳动Seed团队开源的70亿参数多模态基础模型，在标准多模态理解基准上超越Qwen2.5-VL和InternVL-2.5，同时具备与SD3竞争的文生图能力，支持图像编辑、多视角合成和世界导航等"世界建模"任务。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-04-26T07:54:47.000Z
- 最近活动: 2026-04-26T08:21:17.321Z
- 热度: 154.6
- 关键词: 多模态模型, 字节跳动, 开源, 视觉语言模型, 文生图, 图像编辑, MoT, 混合专家, 世界建模, BAGEL
- 页面链接: https://www.zingnex.cn/forum/thread/bagel
- Canonical: https://www.zingnex.cn/forum/thread/bagel
- Markdown 来源: ingested_event

---

## 开源多模态模型的新标杆\n\n字节跳动Seed团队近期开源了BAGEL（Bagel AI Generated Everything Lab），这是一个拥有70亿活跃参数（总计140亿参数）的统一多模态基础模型。该模型在大规模交错多模态数据上训练，在标准多模态理解基准测试中超越了当前顶尖的开源视觉语言模型如Qwen2.5-VL和InternVL-2.5，同时在文生图质量上也能与SD3等专业生成模型竞争。\n\n更重要的是，BAGEL展示了在自由形式视觉操控、多视角合成和世界导航等"世界建模"任务上的卓越能力，这些能力超出了以往图像编辑模型的范畴。\n\n## 核心能力一览\n\n### 多模态理解：超越现有开源模型\n\nBAGEL在多个标准多模态理解基准上表现出色：\n\n| 模型 | MME | MMBench | MMMU | MM-Vet | MathVista |\n|------|-----|---------|------|--------|-----------|\n| Janus-Pro-7B | - | 79.2 | 41.0 | 50.0 | - |\n| Qwen2.5-VL-7B | 2347 | 83.5 | 58.6 | 67.1 | 6 |\n| **BAGEL-7B-MoT** | **超越** | **超越** | **超越** | **超越** | **超越** |\n\n在KRIS-Bench和RISEBench等推理基准测试中，BAGEL展现出与Gemini 2.0相当的性能，证明了其在复杂多模态推理任务上的强大能力。\n\n### 文本到图像生成：与专业模型竞争\n\nBAGEL不仅在理解任务上表现优异，在生成任务上同样出色。其文生图质量可与SD3等强大的专业生成模型竞争，这意味着用户可以用一个模型同时完成理解和生成任务，无需在多个专用模型之间切换。\n\n### 图像编辑：从传统到世界建模\n\nBAGEL在经典图像编辑场景中展现出比领先开源模型更优质的定性结果。更重要的是，它将能力扩展到：\n\n- **自由形式视觉操控**：不限于预设编辑类型的灵活图像修改\n- **多视角合成**：从单张图像生成多个视角的连贯场景\n- **世界导航**：在虚拟环境中进行空间导航和场景理解\n\n这些"世界建模"能力超越了以往图像编辑模型的范畴，为AI辅助内容创作开辟了新的可能性。\n\n## 技术亮点：MoT架构与统一设计\n\n### 混合专家（MoT）架构\n\nBAGEL采用Mixture-of-Transformers（MoT）架构，总计140亿参数中70亿为活跃参数。这种设计在保持模型能力的同时提高了推理效率，使模型能够在消费级硬件上运行。\n\n### 统一多模态设计\n\n与许多使用分离编码器/解码器的设计不同，BAGEL采用统一架构处理理解和生成任务。这种设计带来了：\n\n- **更一致的多模态表示**：理解和生成共享相同的内部表示空间\n- **更高效的知识迁移**：理解任务学到的知识可直接用于生成\n- **更简洁的部署**：单一模型而非多个专用模型的组合\n\n## 使用指南：从安装到推理\n\n### 环境配置\n\n```bash\ngit clone https://github.com/bytedance-seed/BAGEL.git\ncd BAGEL\nconda create -n bagel python=3.10 -y\nconda activate bagel\npip install -r requirements.txt\npip install flash_attn==2.5.8 --no-build-isolation\n```\n\n### 模型下载\n\n```python\nfrom huggingface_hub import snapshot_download\n\nsave_dir = \"models/BAGEL-7B-MoT\"\nrepo_id = \"ByteDance-Seed/BAGEL-7B-MoT\"\ncache_dir = save_dir + \"/cache\"\n\nsnapshot_download(\n    cache_dir=cache_dir,\n    local_dir=save_dir,\n    repo_id=repo_id,\n    local_dir_use_symlinks=False,\n    resume_download=True,\n    allow_patterns=[\"*.json\", \"*.safetensors\", \"*.bin\", \"*.py\", \"*.md\", \"*.txt\"],\n)\n```\n\n### Gradio WebUI启动\n\nBAGEL提供了友好的Web界面，支持不同显存配置：\n\n```bash\n# 32GB+显存或多GPU\npython app.py\n\n# 12-32GB显存，推荐使用NF4量化，支持中文界面\npython app.py --mode 2 --zh\n\n# 22-32GB显存，不推荐使用INT8量化\npython app.py --mode 3\n```\n\n## 推理参数调优指南\n\nBAGEL提供了丰富的推理参数，让用户能够精细控制生成过程：\n\n### 核心参数\n\n- **cfg_text_scale**：控制模型遵循文本提示的强度。1.0禁用文本引导，典型范围4.0-8.0\n- **cfg_image_scale**：控制模型保留输入图像细节的程度。1.0禁用图像引导，典型范围1.0-2.0\n- **cfg_interval**：CFG应用的降噪步骤比例。后期步骤可跳过CFG以减少计算，典型值[0.4, 1.0]\n\n### 高级参数\n\n- **timestep_shift**：调整降噪步骤的分布。较高值在前端分配更多步骤（影响布局），较低值在后端分配更多（改善细节）\n- **num_timesteps**：总降噪步骤数，典型值50\n- **cfg_renorm_min**：CFG-Renorm最小值，1.0禁用重归一化，典型值0\n- **cfg_renorm_type**：重归一化方法\n  - `global`：全局归一化（T2I默认）\n  - `channel`：每token跨通道归一化\n  - `text_channel`：仅对文本条件应用通道归一化（适合编辑，可能导致模糊）\n\n### 故障排除\n\n如果编辑后的图像出现模糊，可以尝试：\n- 使用global CFG-Renorm\n- 降低cfg_renorm_min\n- 减小cfg_scale\n\n## 社区生态与衍生项目\n\nBAGEL的开源迅速催生了丰富的社区生态：\n\n### 量化与压缩版本\n- **DF11压缩版**：由LeanModels提供，进一步降低显存需求\n- **INT8压缩版**：由Gapeleon提供，在保持质量的同时提升推理速度\n\n### 集成与工具\n- **ComfyUI节点**：由neverbiasu贡献，将BAGEL集成到流行的ComfyUI工作流中\n- **Docker支持**：社区贡献了带预编译flash_attn的Dockerfile\n- **Windows支持**：prartio贡献了Windows 11安装指南\n\n### 在线体验\n- **Hugging Face Space**：官方提供的在线Demo\n- **官方网站**：bagel-ai.org提供详细文档和示例\n\n## 训练与评估\n\n### 训练支持\n\n项目提供了完整的训练指南（TRAIN.md），包括：\n- 数据准备流程\n- 分布式训练配置\n- 超参数调优建议\n- 检查点保存与恢复\n\n### 评估基准\n\nBAGEL在多个基准上进行了全面评估：\n- **VLM基准**：MME、MMBench、MMMU、MM-Vet、MathVista\n- **T2I基准**：文本到图像生成质量评估\n- **编辑基准**：ImgEdit-Bench等图像编辑任务\n- **推理基准**：KRIS-Bench、RISEBench\n\n评估代码已开源，便于研究复现和对比。\n\n## 局限性与未来方向\n\n尽管BAGEL取得了显著进展，项目文档和社区讨论也指出了一些需要改进的方向：\n\n- **计算资源需求**：即使是70亿活跃参数，完整精度推理仍需较大显存\n- **生成一致性**：在复杂场景的多视角合成中，偶尔可能出现视角不一致\n- **长文本理解**：对于包含大量细节的复杂文本提示，理解准确性有待提升\n- **细粒度控制**：在某些编辑任务中，对特定区域的精确控制仍有改进空间\n\n字节跳动团队积极收集"坏案例"（bad cases），鼓励社区通过GitHub issue或Discord分享模型表现不佳的示例，以指导后续改进。\n\n## 结语：多模态AI的新里程碑\n\nBAGEL的发布标志着开源多模态模型进入了一个新的阶段。它证明了统一架构可以同时胜任理解和生成任务，且在两者上都能达到或超越专用模型的性能。对于研究者，BAGEL提供了一个强大的基线模型和完整的技术栈；对于开发者，它简化了多模态应用的部署；对于创作者，它开启了AI辅助内容创作的新可能性。\n\n随着社区的持续贡献和字节跳动Seed团队的迭代，我们可以期待BAGEL生态系统将继续成长，为多模态AI的发展注入新的活力。