RemoteShield：为地球观测打造鲁棒的多模态大模型

针对现有遥感多模态大语言模型（MLLM）在真实环境噪声（如视觉的云层遮挡、雾霾覆盖，文本的口语化表达、模糊指令等）下性能退化的问题，提出RemoteShield框架。该框架通过语义等价簇构建与跨条件偏好学习，对齐干净输入与扰动输入的语义，在场景分类、目标检测、视觉问答三种地球观测任务上实现更强的鲁棒性、跨条件一致性，且保持干净数据下的竞争力。

现实输入变化

地球观测MLLM需在真实输入变化下保持一致推理能力，但当前模型因训练于干净数据集，学习到脆弱映射，无法泛化到噪声条件。真实输入变化包括：

• 视觉退化：云层遮挡、雾霾覆盖、光照变化、传感器噪声
• 文本变化：口语化表达、模糊指令、不同表达习惯、多语言混合

脆弱性量化

研究团队构建现实多模态扰动集合（视觉模拟自然条件、文本涵盖人类表达变化），实证显示扰动显著损害基线模型的视觉-语义推理能力，表现为云层下错误识别地物、模糊查询回答不一致、相似条件下解释矛盾。

核心思想

RemoteShield通过语义等价簇与偏好学习实现鲁棒性：

1. 语义等价簇：每个干净样本与其视觉/文本扰动变体配对，共享相同语义标签
2. 跨条件偏好学习：优化模型对干净输入的正确响应（正例）与扰动输入的不稳定响应（负例）的偏好差距
3. 稳定性偏好：鼓励稳定响应而非扰动诱导错误

训练机制

• 等价簇形成：为每个样本生成干净版本、视觉扰动版本（云层、雾霾等）、文本扰动版本（改写、模糊化等）
• 偏好学习实施：采用类似DPO的框架，最大化正负例的偏好差距，使模型关注底层语义而非表面特征。

任务设置

评估RemoteShield在三个任务上的表现：

1. 场景分类：识别遥感图像场景类型
2. 目标检测：定位识别特定地物
3. 视觉问答：回答遥感图像相关自然语言问题

评估指标

• 鲁棒性：扰动条件下性能保持率
• 跨条件一致性：等价簇内不同变体的响应一致性
• 干净性能：无扰动条件下基准性能

主要结果

RemoteShield显著优于基线：

• 更强鲁棒性：视觉/文本扰动下性能下降更少
• 更好一致性：语义等价输入响应更一致
• 可比干净性能：未扰动条件下保持竞争力。

技术洞见

传统方法直接拟合噪声样本易导致记忆噪声、过拟合、牺牲干净性能；RemoteShield的偏好学习：

• 保持干净输入高性能
• 区分稳定与不稳定响应
• 泛化到未见过的扰动 跨条件对齐让模型忽略表面噪声，关注核心语义。

启示

• 训练数据：需引入合成扰动、匹配真实分布、保持语义
• 评估方法：应包含现实扰动、测试一致性、评估极端条件。

当前局限

• 扰动类型有限（主要为云层、雾霾、文本变化）
• 计算开销大（偏好学习需额外推理比较）
• 领域特定性（针对遥感设计，通用性待验证）

未来方向

1. 更丰富扰动：季节变化、传感器差异、几何变换
2. 自适应扰动：动态生成模型弱点相关扰动
3. 多任务扩展：应用于其他视觉-语言任务
4. 理论分析：偏好学习在鲁棒性中的作用机制。

灾害监测

• 云层下洪水监测、雾霾下火灾检测、紧急响应快速评估

农业监测

• 不同天气下作物监测一致性、处理非专业查询、多语言交互

城市规划

• 查询表述灵活性、结果一致性、图像质量变化容忍度。