Bard-VL与vLLM集成：扩散式视觉语言模型的高吞吐推理方案

该项目将 Bard-VL 扩散视觉语言模型集成到 vLLM 推理引擎中，实现高吞吐量的视觉语言模型推理和 OpenAI 兼容的服务接口。

• 原作者/维护者：NinoNeumann
• 来源平台：GitHub
• 原始标题：Bard-VL_vLLM
• 原始链接：https://github.com/NinoNeumann/Bard-VL_vLLM
• 来源发布时间/更新时间：2026-06-16

视觉语言模型（Vision-Language Models, VLM）正在快速发展，能够同时理解图像和文本，实现图像描述、视觉问答、图文对话等功能。然而，这类模型在实际部署中面临独特的挑战：

Bard-VL 采用扩散架构生成文本输出，这与传统的自回归语言模型（如 GPT、Llama）有本质区别：

• 迭代去噪：需要多步迭代逐步去除噪声，生成最终输出
• 计算密集：每个生成步骤都需要完整的模型前向传播
• 并行困难：生成过程难以像自回归模型那样高效批处理

• 延迟敏感：用户期望实时的视觉交互响应
• 吞吐瓶颈：单用户场景已具挑战，多用户并发更加困难
• 资源占用：视觉编码器和扩散解码器都需要大量显存
• 服务兼容：需要与现有 API 生态兼容

由开发者 NinoNeumann 创建的 Bard-VL_vLLM 项目，旨在解决这些挑战，将扩散式 VLM 带入生产级部署。

vLLM 是伯克利大学开发的高性能 LLM 推理引擎，以其创新的 PagedAttention 技术闻名：

• PagedAttention：将 KV 缓存分页管理，大幅减少内存碎片
• 连续批处理：动态调整批次大小，提高 GPU 利用率
• 内存高效：支持更大的并发量和更长的上下文

将扩散模型集成到 vLLM 需要解决几个关键问题：

视觉编码器集成

Bard-VL 使用视觉编码器（如 CLIP 或 SigLIP）处理输入图像：

• 图像预处理：调整尺寸、归一化、分块
• 特征提取：生成图像嵌入向量
• 与文本对齐：将视觉特征映射到语言模型的输入空间

扩散解码器适配

核心挑战是将扩散生成过程融入 vLLM 的调度系统：

• 多步迭代管理：将扩散的去噪步骤映射为可调度单元
• 中间状态缓存：在去噪迭代之间缓存中间表示
• 批次重组：根据去噪进度动态重组批次

注意力机制改造

扩散模型通常使用双向注意力，需要适配：

• 支持文本到图像的跨模态注意力
• 处理扩散时间步的条件注入
• 优化注意力计算的内存访问模式

项目提供与 OpenAI API 兼容的接口，便于集成：