nano-vllm-prefillonly：面向判别式任务的多模态大模型推理优化方案

基于nano-vllm的预填充专用优化框架，通过消除KV缓存开销，实现高达10倍显存节省和2倍推理加速，专为工业级多模态判别任务设计。

在实际工业场景中，大量大语言模型应用属于判别式任务（Discriminative Tasks），这类任务只需要模型输出单个token即可完成判断。典型的应用场景包括：

• 重排序（Reranking）：判断文档与查询的相关性
• 检索/嵌入（Embedding）：生成语义搜索用的向量表示
• 分类任务：二分类或多分类判断
• 视觉问答：回答关于图像的是/否问题
• 空间推理：比较物体大小、位置或关系
• 属性识别：识别颜色、形状等视觉属性

随着多模态大模型的兴起，这些任务正逐渐从传统视觉模型转向多模态LLM。例如："这张图片里有狗吗？""哪个招牌最醒目？""哪张图片最能代表传统中式建筑？"

然而，当需要处理数亿级别的图像时，传统的vLLM方案面临严峻挑战——KV缓存成为了性能瓶颈。

传统vLLM为所有模型分配KV缓存，即使对于完全不需要它的嵌入和重排序模型也是如此。在96GB显存的H20 GPU上，KV缓存 alone 就能占用82-85GB显存，这意味着：

• 每个GPU只能服务一个嵌入/重排序模型
• 大量显存被浪费在从未使用的缓存上
• 高吞吐量场景下内存效率极低

这种设计在生成任务中是必要的，但对于判别式任务来说完全是过度设计。

该项目基于轻量级vLLM实现nano-vllm，针对预填充阶段进行了专门优化：

对于单token生成任务，KV缓存是不必要的。该项目直接跳过缓存分配，仅使用模型权重进行推理。

针对多模态模型，直接处理pixel_values而不使用vision cache，进一步降低内存开销。

消除缓存管理开销，专注于模型前向传播的核心计算。

指标	Transformers	Prefill-Only	Original nano-vllm
平均推理时间	1.211s	0.577s	0.571s
峰值显存占用	4459MB	4892MB	49680MB
相比原方案显存节省	-	10.15倍	-

关键发现：Prefill-Only模式仅使用原方案10%的显存，速度仅慢1%，是内存敏感场景的理想选择。