IDMVAE：信息解耦的多模态变分自编码器实现

IDMVAE是ICLR 2026论文《Disentanglement of Variations with Multimodal Generative Modeling》的官方PyTorch实现，专注于通过多模态生成建模实现变化的解耦。该项目支持PolyMNIST、CUB-200-2011、CelebAMask-HQ和TCGA等多模态数据集，提供训练与评估代码，旨在解决多模态数据中变化因素纠缠的问题，提升模型解释性与可控性。

多模态学习是人工智能领域的重要方向，但多模态数据中的变化因素常纠缠在一起，给模型解释性和可控性带来挑战。单模态VAE已展示解耦表示学习能力，但扩展到多模态场景仍是开放性问题。IDMVAE针对此问题，通过信息论指导方法，实现多模态生成建模中的变化解耦。

核心概念：多模态VAE需学习共享潜在空间（捕获跨模态公共信息+保留模态特有信息）；解耦表示学习目标是让潜在变量对应独立变化因素。

技术设计：架构含多模态编码器/解码器，潜在空间分为共享变量与模态特定变量；训练目标结合VAE损失（重建损失+KL散度）与信息论正则化项，最大化共享信息同时减少模态特有信息冗余。

支持数据集：PolyMNIST（MNIST多模态变体）、CUB-200-2011（鸟类图像+文本描述）、CelebAMask-HQ（人脸图像+分割掩码）、TCGA（癌症多模态医学数据）。

代码结构：src/含核心代码（模型定义、训练脚本、数据加载器），src/commands/含实验脚本，src/baseline/含基线参考实现。

使用说明：依赖用pip-tools管理，提供数据准备脚本（如PolyMNIST生成、格式转换），各数据集有对应训练/评估脚本，支持多种运行模式。

实验复现：需设置环境变量指向数据集路径，运行src/下对应shell脚本（自动处理初始化、训练、checkpoint保存），支持Weights & Biases实验跟踪。

学术贡献：论文获ICLR 2026接收，基于MMVAEplus、MMVAE等基线引入信息解耦机制；开源实现助力复现、比较研究与领域发展。

实际应用：可控内容生成（独立控制属性）、跨模态检索（文本搜图像）、数据增强（合成数据）、医学影像分析（TCGA数据集应用）。

未来方向：扩展更多模态与数据集、改进解耦评估指标、结合扩散模型等新技术、应用于更广泛场景。