以对象为中心的多模态视觉：从场景理解到精准操控的新范式

本文综述大型多模态模型（LMMs）与以对象为中心的视觉技术的融合进展，探讨理解、分割、编辑和生成四大方向的技术突破与挑战。针对传统LMMs在对象级定位、细粒度空间推理和可控视觉操控上的局限性，提出以对象为中心的视觉框架，将能力从场景级扩展到对象级。文章还涵盖建模范式、学习策略、评估协议及开放挑战，指出该领域对学术研究和机器人、自动驾驶等应用的重要价值。

大型多模态模型（LMMs）在视觉-语言理解领域取得进展，但面对精确对象级定位、细粒度空间推理和可控视觉操控任务时力不从心，如无法准确识别特定实例、保持对象身份一致性或精确修改指定区域。根源在于传统模型关注全局场景理解，缺乏显式对象表示和操作能力。以对象为中心的视觉框架正是为解决此问题提出，扩展系统到对象级的理解、分割、编辑和生成。

以对象为中心的视觉是认知启发的视觉处理方法，强调将场景分解为独立可操作的视觉实体，与人类视觉系统工作方式一致。在多模态模型语境下，需具备三大能力：

1. 显式对象表示：识别并维护各对象的视觉特征、空间位置和语义属性；
2. 对象级操作：针对特定对象执行分割、编辑属性或生成新实例；
3. 跨模态对齐：建立视觉对象与语言描述的可靠对应，支持自然语言指代。

本文将相关研究分为四个方向：

1. 以对象为中心的视觉理解

关注对象属性、状态和关系的细粒度理解，如回答特定对象的材质或持有物问题，关键技术包括对象级注意力、感知特征提取和关系推理模块。

2. 以对象为中心的指代分割

根据自然语言描述定位并分割特定对象（如"分割正在喂狗的女孩"），挑战在于语义与空间布局的细粒度对应，进展包括对象级查询、多尺度融合和语言引导注意力调制。

3. 以对象为中心的视觉编辑

按指令修改图像特定对象（如改变外观、姿态），保持场景其他部分不变，热点包括扩散模型编辑、身份一致性替换和多对象协调编辑。

4. 以对象为中心的视觉生成

从零创建含特定对象的图像或按对象描述生成场景，需确保对象规范和场景合理性，关键技术有布局引导生成、对象级条件控制和组合式生成。

核心建模范式

• 对象查询机制：借鉴DETR，用可学习对象查询发现和表征对象，便于与语言模型交互；
• 多模态融合架构：交叉注意力、门控融合、对比学习等实现对象视觉特征与语言的深度交互；
• 分层表示学习：从低级视觉特征到高级语义概念的层次化对象表示。

学习策略

• 弱监督学习：利用图像-文本对，通过对比学习和注意力对齐自动发现对应视觉区域；
• 指令微调：用对象级指令数据集微调预训练模型，增强指令遵循能力；
• 强化学习from人类反馈：收集人类偏好数据优化对象级操作质量。

对象级多模态能力评估关注以下方面：

• 定位精度：用IoU评估对象定位准确性；
• 语义一致性：检查对象属性理解与描述的真实性；
• 指令遵循度：评估执行对象级指令的准确性和完整性；
• 身份保持：验证编辑/生成任务中对象核心身份特征的保持。 代表性基准测试包括RefCOCO系列（指代表达理解）、LVIS（大规模词汇实例分割）及视觉编辑评估集。

该领域面临的挑战：

1. 鲁棒的实例持久性：视频或多次交互中保持对象稳定识别（外观变化/遮挡时）；
2. 细粒度空间控制：精确控制对象位置、姿态和尺度（复杂场景中）；
3. 一致的多步交互：保持操作历史记忆，协调步骤依赖；
4. 跨任务统一建模：缺乏处理理解、分割、编辑、生成的通用框架；
5. 分布偏移下的可靠评估：提高训练外场景的泛化能力，完善评估协议。 未来方向是构建更智能实用的多模态系统，实现对对象的深度理解与灵活交互。

以对象为中心的多模态视觉是AI向更精细、可控视觉理解迈进的重要一步。通过显式建模和操作视觉实体，有望构建更智能实用的多模态系统，推动学术研究边界，并为机器人、自动驾驶、内容创作等领域带来实际价值。未来的多模态模型不仅要"看懂"场景，更要"理解"每个对象并灵活交互。