ZipRerank：面向长文档的高效多模态列表重排序

研究者提出ZipRerank，针对长文档多模态重排序的效率瓶颈，通过轻量级查询-图像早期交互机制和单前向传播评分策略，将LLM推理延迟降低一个数量级，在MMDocIR基准上达到或超越SOTA多模态重排序器性能，适用于延迟敏感的实时系统。

在视觉中心检索和M-RAG系统中，列表重排序是关键组件，但传统方法面临两大瓶颈：1.视觉token序列过长导致计算开销激增；2.多步自回归解码限制吞吐量，使得SOTA VLM-based重排序器难以满足延迟敏感系统需求。

ZipRerank旨在平衡效率与准确率，两大创新：1.轻量级查询-图像早期交互：在视觉编码早期让查询与图像特征交互，聚焦相关区域，压缩视觉token长度；2.单前向传播评分：并行处理所有候选文档，捕捉列表级关系，直接优化排序目标，时间复杂度从O(n×解码步数)降至O(1)。

ZipRerank采用两阶段训练：1.列表级预训练：在大规模文本渲染图像上预训练，学习基本重排序能力；2.多模态微调：用GPT-4V等VLM作为教师模型生成软排序信号，结合真实数据微调，损失设计兼顾排序和蒸馏损失。

在MMDocIR基准上，ZipRerank准确率达到或超越SOTA；效率上，推理延迟降低一个数量级（约10倍），吞吐量提升，资源节省，适用于实时搜索、高并发服务、资源受限环境和流式处理场景。

局限包括压缩可能丢失细粒度信息、领域适配差异、依赖教师模型偏见；未来方向：更激进压缩策略、无/少教师训练、扩展到视频模态、自适应交互机制、联合优化检索组件。

启示：多模态RAG需重视效率优化、设计任务专用轻量级架构、利用知识蒸馏、关注列表级建模；结语：ZipRerank证明效率与准确率可兼得，为多模态检索系统设计提供参考，未来高效重排序技术将更重要。