SZAtt-Net：融合注意力机制的多模态深度学习模型用于精神分裂症分类

SZAtt-Net是整合Conv2D、BiGRU和注意力机制的新型深度学习框架，利用EEG和MRI多模态数据对精神分裂症进行分类，在多个基准数据集上取得超96%的准确率，为精神疾病客观诊断提供新路径。

精神分裂症异质性极强，传统诊断依赖主观评估存在标准不一致、早期识别难等问题。EEG（高时间分辨率）与MRI（结构/功能信息）可互补揭示疾病神经基础，但有效整合多模态数据提取诊断特征是计算精神病学核心难题，多数现有研究仅针对单一模态或未充分利用互补信息。

核心组件

• Conv2D卷积层：从EEG拓扑图和MRI切片学习空间特征，检测局部模式（如EEG频率分布、MRI脑区异常）；
• BiGRU双向门控循环单元：捕捉EEG时序依赖，门控缓解梯度消失，双向设计利用过去/未来上下文；
• 注意力机制：自动聚焦分类相关特征区域，模拟专家读图模式识别特异性神经标志物。

多模态融合策略

EEG转拓扑图后经Conv2D/BiGRU/注意力处理；MRI直接用卷积层检测形态异常；两种模态特征在高层融合整合互补信息。

三组基准数据集测试结果：

• Kaggle EEG数据集：99.37%准确率，完美区分患者与正常人；
• LMSU EEG数据集：98.92%准确率，证明泛化能力不受设备/实验条件限制；
• 海马体MRI数据集：96.33%准确率，首次将深度学习应用于MRI精神分裂症分类。

1. 注意力机制比较：系统分析不同注意力变体，发现针对性选择可提升性能，为神经影像分析提供指导；
2. MRI深度学习突破：填补纯深度学习应用于MRI分类空白，端到端学习发现更细微形态改变；
3. 统一多模态框架：同一架构无缝处理EEG/MRI，降低多模态研究门槛，为整合更多数据类型奠基。

辅助诊断工具

高准确率可作为临床"第二意见"，提升诊断客观性与早期识别能力，尤其适用于资源匮乏地区；

疾病机制研究

通过注意力权重分析识别关键脑区/神经模式，助力揭示疾病神经生物学机制；

治疗反应预测

未来可扩展至预测治疗反应，实现个性化医疗。

当前局限

• 数据集规模较小；
• 跨中心泛化能力待验证；
• 缺乏纵向追踪数据。

未来方向

• 探索EEG/MRI混合模型；
• 引入Grad-CAM/SHAP增强可解释性；
• 扩展多样化数据集，探索半监督/自监督学习。