Multimodal-RoPEs：重新审视视觉语言模型中的多模态位置编码

介绍 ICLR 2026 论文的官方实现，重新审视视觉语言模型中的多模态位置编码机制，探索更高效的跨模态位置编码方案。

视觉语言模型（Vision-Language Models, VLMs）是当前人工智能领域最活跃的研究方向之一。这类模型需要同时处理文本和图像两种模态的数据，而如何有效地对这两种模态进行位置编码，一直是困扰研究者的核心问题。

传统的大语言模型使用位置编码（Positional Encoding, PE）来注入序列顺序信息，其中最成功的是旋转位置编码（Rotary Position Embedding, RoPE）。然而，当把 RoPE 应用到视觉语言模型时，研究者们发现了一些独特的问题：

• 图像通常表示为二维的 patch 网格，而文本是一维的 token 序列
• 两种模态的位置空间如何对齐和交互？
• 简单的拼接是否是最优方案？

ICLR 2026 的这篇论文《Revisiting Multimodal Positional Encoding in Vision–Language Models》正是针对这些问题进行了深入研究。

在深入论文之前，让我们先理解位置编码的作用。Transformer 架构本身对输入是置换不变的（permutation invariant），也就是说，它不知道 token 的顺序。位置编码的作用就是告诉模型每个 token 在序列中的位置。

RoPE 通过旋转矩阵的方式将位置信息注入到注意力计算中，它的优势在于：

• 可以处理任意长度的序列
• 具有良好的外推性（extrapolation）
• 在相对位置编码方面表现优异

当 RoPE 遇到多模态场景时，问题变得复杂：

一维 vs 二维：

• 文本：一维序列，位置可以用单个整数表示
• 图像：二维网格，位置需要两个坐标（x, y）

模态融合：

• 图像 patch 和文本 token 如何共享位置空间？
• 是否需要为不同模态设计不同的位置编码？

跨模态注意力：

• 图像 patch 和文本 token 之间的相对位置如何计算？
• 这对模型的跨模态理解能力有何影响？

论文首先系统地分析了当前主流 VLM 中使用的位置编码方案，发现了一些被忽视的问题：

简单拼接的问题：

大多数 VLM 采用简单的一维拼接方式：

[图像 patch 1, 图像 patch 2, ..., 文本 token 1, 文本 token 2, ...]

这种方案的问题在于：

• 图像的二维空间信息被压缩成了一维
• 图像和文本的位置空间没有明确区分
• 跨模态的相对位置计算不够精确

独立编码的问题：

另一些工作尝试为图像和文本使用独立的位置编码，但这又带来了模态对齐的困难。

基于深入的分析，论文提出了一系列设计多模态位置编码的原则：

原则一：保留模态特性

不同模态有其内在的结构特性，位置编码应该尊重这些特性：

• 文本保持一维连续性
• 图像保持二维空间关系

原则二：统一位置空间

尽管模态特性不同，但所有 token 应该共享一个统一的位置空间，这样才能进行有效的跨模态注意力计算。

原则三：显式跨模态位置

模型应该能够明确感知图像 patch 和文本 token 之间的相对位置关系。

基于上述原则，论文提出了一种改进的多模态 RoPE 方案：

二维 RoPE 扩展：

对于图像 patch，使用二维 RoPE：

# 伪代码示意
def apply_2d_rope(patch_embed, pos_x, pos_y):
    # 分别对 x 和 y 方向应用旋转
    rotated_x = apply_rope(patch_embed, pos_x)
    rotated_y = apply_rope(patch_embed, pos_y)
    return combine(rotated_x, rotated_y)

模感知的统一空间：

通过巧妙的设计，将二维图像位置和一位文本位置映射到一个统一的高维空间：

• 文本位置：(t) → 映射到特定子空间
• 图像位置：(x, y) → 映射到互补子空间

显式的模态标识：

引入模态类型标识（modality type embedding），让模型能够区分当前处理的是图像还是文本。

论文在多个标准基准上进行了评测：

• 图像理解：VQAv2、GQA、TextVQA
• 图文对齐：Flickr30K、COCO Retrieval
• 多模态推理：MMMU、MathVista
• 纯文本能力：保持与原始 LLM 相当的性能