多模态张量连接性研究：低秩融合与几何条件化的鲁棒性探索

本项目聚焦多模态AI中的张量连接性问题，结合多核学习理论与低秩多模态融合模型，研究几何条件化和秩约束对泛化能力、鲁棒性及模态交互的影响。项目由ParthSinha19维护，源码位于GitHub（https://github.com/ParthSinha19/Robustness-Of-Multimodal-Tensor-Connectivity），发布于2026年6月8日。

传统多模态系统面临两大核心问题：不同模态数据在潜在空间存在几何错位，导致模型对分布偏移和对抗扰动脆弱；高维融合引入过参数化，增加计算成本且提升噪声敏感性。本项目提出结合联合Wasserstein自编码器（jWAE）与低秩多模态融合（LMF）的理论框架，以解决上述问题。

项目基于三个关键假设：1.低秩约束是隐式谱正则化机制，可学习更紧凑、泛化性更强的表示；2.几何条件化通过共享高斯先验对齐不同模态嵌入，减少分布不匹配；3.多模态鲁棒性依赖模态贡献平衡，失衡会降低系统鲁棒性。

技术架构融合多核学习、张量分解与几何潜在建模：1.jWAE通过共享高斯先验实现模态对齐、流形平滑及跨模态分布差异减少；2.LMF利用低秩分解（秩为容量瓶颈、Hadamard逐元素交互）高效近似高阶张量交互；3.优先可解释性，秩因子提供显式交互路径，支持模态贡献分析（以部分精度换取透明性）。

在CMU-MOSI、MUSTARD、Hateful Memes数据集上评估：1.秩消融实验：低秩（r=2-4）性能最优，r=8时训练损失最低但泛化下降（过拟合），秩与泛化呈非单调关系；2.jWAE vs普通LMF：jWAE在低中秩提升分类准确率，高秩时LMF性能相当或更优，jWAE可能恶化MAE（分离性与回归保真度存在权衡）；3.音频丢弃实验：性能非单调下降，30-50%丢弃率伤害最大（存在模态干扰）。

关键结论：1.低秩融合确为隐式谱正则化器，限制复杂度并学习鲁棒特征；2.秩增加不保证性能提升，存在最优范围；3.几何条件化是双刃剑（提升分类但可能损害回归）；4.弱模态部分存在会负面影响融合（需重视模态选择与质量控制）；5.多模态学习存在不对称性，部分模态组合更有效。

研究意义：为多模态AI设计提供理论指导与实践经验，揭示低秩约束和几何条件化的作用与局限。应用前景：为多模态学习、张量分解及鲁棒性研究提供基准实现与实验数据。项目结构：包含lmf_module.py（低秩融合）、jwae_module.py（jWAE）、数据加载器及端到端训练脚本等模块。