多模态深度学习在唇腭裂患者语音评估中的临床应用

本研究融合音频、面部视频、X线透视影像和临床变量，构建多模态深度学习模型，实现唇腭裂患者代偿性构音和高鼻音的自动化检测，旨在为临床语音评估提供客观辅助工具，解决传统主观评估的局限。

唇腭裂是常见先天性颅颌面畸形，全球发病率约每700名新生儿1例。术后患者常面临代偿性构音和高鼻音等语音障碍。传统评估依赖言语病理学家主观评价，存在评估者差异、可重复性低、资源依赖、量化困难等问题。多模态深度学习通过整合多源信息，可学习人类难以处理的多维度模式，提供客观一致的评估方案。

数据集构建：回顾性分析34名韩国腭裂术后患者数据，含30个目标词汇的1254个词级样本，同步采集音视频、X线透视影像及临床变量（性别、Veau分类、裂隙宽度、初次修复年龄）。

模型架构：模块化设计，含音频编码器（卷积+Transformer）、视频编码器（3D CNN）、VFS影像编码器（时序模型）、表格数据编码器（嵌入+全连接），并探索7种模态组合策略。

训练评估：采用患者级五折交叉验证，评估指标为AUROC和AUPRC。

代偿性构音检测：音频+视频+VFS组合AUROC达0.76（最佳），视频模态贡献最大，模型关注唇部运动和下颌位置。

高鼻音检测：全模态组合AUROC达0.67（最佳），VFS和临床变量贡献显著，反映解剖结构相关性。

模态贡献：通过Grad-CAM和注意力可视化，代偿性构音依赖视频，高鼻音依赖VFS和临床变量。

1. 临床导向设计：模态选择对应临床实际评估手段，具转化价值；2. 患者级交叉验证：避免数据泄漏，更准确反映泛化能力；3. 系统性模态消融：测试所有组合，揭示不同语音异常本质特征。

代码结构：含main.py（训练评估）、model.py（模型架构）、dataset.py（数据加载）等。

预训练权重：提供7种模态组合的预训练权重。

使用示例：支持音频单模态、全模态等训练命令。

可视化工具：可生成ROC/PRC曲线、VFS消融分析、Grad-CAM注意力可视化。

即时价值：为病理学家提供客观参考，减少评估差异；作为教学工具；量化追踪治疗效果。

未来方向：多中心大规模验证；实时评估系统；多语言扩展；应用于其他颅颌面畸形或神经源性言语障碍。

本研究展示多模态深度学习在唇腭裂语音评估中的潜力，通过整合多源信息提供客观检测工具。关键发现：代偿性构音属功能性代偿，需关注视频；高鼻音属解剖相关，需依赖影像和临床因素。此发现优化模型设计，并为临床评估流程提供依据。未来有望成为唇腭裂综合治疗的标配工具。