CBC-SLP：结构化潜在投影实现鲁棒的多光谱语义分割

本文介绍CBC-SLP方法，通过结构化潜在投影将潜在表示分解为共享和模态特定组件，解决多模态遥感图像分割中模态缺失与全模态性能的权衡问题，在实验中表现出优于现有方法的鲁棒性和性能。

多光谱数据（RGB、红外、雷达等）提升分割精度，但现实中传感器故障、天气等导致模态缺失；传统共享表示学习在模态缺失时鲁棒，但全模态下无法充分利用各模态互补信息，存在性能权衡问题。

研究发现完美对齐的多模态表示可能导致下游任务次优，因过度对齐会丢弃模态特有且有价值的信息。例如RGB敏感颜色纹理、红外反映植被健康、SAR不受光照影响，强行对齐会丢失互补特征。

1. 显式分解：将潜在表示分为共享组件（跨模态不变信息）和模态特定组件（独有互补信息），作为架构归纳偏置；2. 自适应传输机制：根据模态可用性动态组合组件；3. 编码器-解码器结构，核心为潜在投影层，避免复杂门控保持简洁稳定。

在Vaihingen、Potsdam、MultiSpectral三个数据集评估：全模态场景性能更高，缺失场景性能下降平缓，单模态仍合理；消融实验证明去除特定组件、共享组件或自适应机制均导致性能显著下降。

定性分析显示共享组件捕获通用语义，特定组件保留独特视角，自适应融合动态调整；启示包括架构作为归纳偏置、对齐非唯一目标、动态适应性的重要性。

当前局限：模态数量少、随机缺失为主、计算开销；未来方向：扩展多模态、缺失预测、端到端优化、跨领域迁移至医学图像等任务。