多模态深度学习在心脏SPECT成像中的应用：融合影像与临床数据的心肌灌注分类系统

本文介绍了一种创新的多模态深度学习系统，结合心脏SPECT影像与临床表格数据分类心肌灌注状况。通过融合CNN图像处理与ANN表格数据分析，该系统在97例病例上达到97.44%的分类准确率，显著优于单一模态方法。

在心血管疾病诊断中，SPECT心肌灌注成像是常用无创手段，但传统基于影像的深度学习模型忽略患者临床信息（病史、实验室指标等），导致信息孤岛限制模型准确性和鲁棒性。开源项目multimodal-cardiac-mpi-classification通过多模态融合技术解决此问题。

技术架构

系统采用晚期融合策略，双分支处理不同模态：

• CNN分支：输入9通道SPECT影像，经1×1卷积降维、微调ResNet50提取特征
• ANN分支：输入20个ANOVA筛选的临床特征，经编码标准化后由全连接网络处理
• 融合层：加权晚期融合或元学习堆叠

数据处理流程

• 影像：原始图像→裁剪→增强→通道堆叠→特征提取
• 临床数据：指标提取→清洗→特征选择（45→20）→ANN处理

在97例病例数据集（类别不平衡）上验证结果：

模型类型	准确率
CNN（仅图像）	96.15%
ANN（仅表格）	91.03%
融合模型	97.44%

关键发现：

1. 协同效应：检测单一模态遗漏的梗死病例
2. 互补性：影像擅于结构性异常，临床整合上下文信息
3. 鲁棒性：某模态缺失时仍保持性能

1. 迁移学习：选择性解冻ResNet50，保留通用特征同时适应医学影像
2. 影像张量构建：多通道堆叠+1×1卷积降维，适配CNN
3. 小数据集泛化：数据增强、Dropout、早停等正则化
4. 特征选择：ANOVA统计检验筛选20个关键临床特征

局限性

• 数据集规模小（97例），泛化性待验证
• 原始数据未公开，影响复现
• 类别不平衡影响少数类识别

未来方向

• 引入注意力机制对齐图像区域与临床特征
• 探索Transformer在多模态医学数据的应用
• 构建大规模公开基准数据集

启示

• 多模态融合是提升模型性能的关键
• 深度整合临床知识（特征选择到模型设计）
• 医学AI需严格工程标准（数据处理、验证等）

结语

该项目展示多模态深度学习在心血管医学的潜力，融合影像与临床数据提升准确率，发现单一模态难识别的病例。期待多模态技术在精准医疗发挥更大价值。