M-PRTM：融合影像、文本与数值数据的心力衰竭预后预测多模态框架

M-PRTM是创新多模态深度学习框架，整合心脏磁共振影像、临床文本记录和结构化数值指标，实现心力衰竭预后预测与心肌纤维化检测，多项临床任务准确率超90%。核心为注意力驱动的多模态融合模块，动态分配模态权重。项目由AlexSun111111（Jinyang Sun, Xi Chen）维护，来源GitHub，发布时间2026-05-23。

心力衰竭需持续监测评估，传统方法依赖单一模态信息（临床指标、影像或文本），存在信息碎片化问题：仅依赖化验指标易错过影像异常，仅依赖文本易遗漏数值变化，仅依赖影像无法捕捉用药历史与症状演变。

整合三种异构数据源： 1.心脏磁共振影像：用DAE-Former提取心肌纤维化相关时空特征； 2.结构化数值指标：通过全连接神经网络映射到低维空间； 3.文本记录：用预训练BERT提取语义特征。 核心创新为注意力融合模块，动态分配模态权重，识别关键贡献模态，处理互补性与冗余性，提供可解释性。

模块化设计：影像处理（cinematic/）、数值处理（numerical/）、文本处理（text/）、注意力融合（attention_fusion.py）及配置文件（config.json）。代码示例展示BERT提取文本特征并与数值特征融合的过程。

任务准确率：

任务	准确率
心肌纤维化分割	87.2%
心衰预后预测	96.5%
事件预测	97.6%
风险预测	93.8%
临床应用：术后随访管理（预测再入院风险）、个性化治疗（识别高风险群体）、早期预警（实时监测病情恶化）。

由上海交大、南京邮电大学团队开发，与南京鼓楼医院合作，获国家自然科学基金（Grant12404365）支持。作者跨临床医学、电子信息等领域，体现医工交叉。原始链接：https://github.com/AlexSun111111/Multimodal-Post-Recovery-Tracking-Model。

仅提供示例数据，完整临床数据因隐私未公开（可合理请求共享）。未来方向：扩展至更多心脏疾病、引入时间序列建模、开发轻量级版本、集成电子健康记录系统。