HybridMFP：多模态融合深度学习模型助力中风后上肢运动功能精准评估

HybridMFP是层次化多模态融合深度学习模型，整合表面肌电信号（sEMG）与运动学信号（KIN），实现中风后上肢FMA-UE评分的自动化客观预测，解决传统评估主观、耗时等局限，为智能康复提供技术支撑。

中风是全球成年人残疾主因，每年1500万人发病，三分之一留永久残疾，上肢障碍常见。临床用FMA-UE评估存在主观依赖、耗时、无法捕捉细微动态变化等问题。精准智能评估需求迫切，HybridMFP项目因此诞生。

数据采集与预处理

• sEMG：12通道覆盖上肢肌群；KIN：63维运动学特征（关节角度等）
• 预处理：DTW时序对齐、Z-score标准化消除个体差异

层次化融合网络

• 模态内学习：卷积+时序建模提取特异性特征
• 早期融合：交叉注意力/拼接学习模态关联
• 高层融合：全连接映射到FMA-UE评分

特征与模型

• 弹性网络选特征、PCA降维
• 集成学习回归预测评分

采用留一被试交叉验证，MAE 0.70分、准确率85%，较基线误差降10%、准确率升27%。多模态融合优于单模态及传统融合方法，模型泛化稳健，与专家评估高度相关。

客观评估突破

消除评估差异、高频监测、支持远程康复

智能康复闭环

功能分层匹配方案、智能训练规划、预后评估、实时疗效监测

轻量化可及性

可穿戴sEMG+低成本运动捕捉，利于基层及家庭推广

当前局限

样本规模有限、sEMG受电极/皮肤影响、仅针对标准化动作

未来方向

多中心验证、实时评估优化、多任务学习、因果推断、康复数字孪生

开放数据集：

• Kaggle1：https://www.kaggle.com/datasets/jinanzuo/kin-fma
• Kaggle2：https://www.kaggle.com/datasets/wuxingang/rocky-data 含同步sEMG、KIN信号及FMA-UE评分，助力研究复现。