融合文本、语音与视频的多模态抑郁症检测系统：基于 DAIC-WOZ 的深度学习实践

本项目是一个融合文本、音频和视频三种模态的抑郁症检测深度学习项目，基于DAIC-WOZ数据集实现。核心目标是通过自动化方式捕捉抑郁症的多维度表征，为早期筛查和辅助诊断提供技术支持。项目使用了SVM、随机森林、CNN和LSTM门控机制等模型，实现多模态特征的有效融合分类。该项目为开源GitHub项目，由sameer-04062004开发维护。

DAIC-WOZ（Distress Analysis Interview Corpus - Wizard of Oz）是南加州大学创建的心理健康研究专用数据集，包含临床访谈的音频、视频及转录文本，参与者与虚拟访谈员对话，内容涉及日常生活和情绪状态。选择该数据集的原因包括：

1. 数据完整性：同时包含三种模态，适合多模态研究；
2. 临床标注：每个样本有专业PHQ-8抑郁症评分标签；
3. 学术认可：被广泛用于心理健康AI研究，结果可对比；
4. 公开可用：支持研究人员申请访问，促进合作。

项目针对不同模态设计了特征提取方法：

• 文本模态：使用SVM和随机森林处理文本特征，捕捉抑郁症患者的语言模式（如更多第一人称单数代词、负面词汇、简单句子结构等）；
• 音频模态：采用SVM和随机森林，并通过剪枝优化防止过拟合，提取语音特征（如语速变慢、音调变化少、能量降低等）；
• 视频模态：利用CNN提取视频帧的空间特征，捕捉面部表情（如表情减少、眼神接触少等）和肢体语言变化。

单独模态易遗漏信息，项目核心创新是使用LSTM结合门控机制进行句子级多模态融合：

• 门控机制：动态调整各模态权重，优先依赖可靠模态（如环境噪音影响音频时，增加视频/文本权重）；
• 句子级融合：优势在于捕捉访谈中的情绪波动、增加训练样本量、实现细粒度异常时刻定位。

潜在应用场景

1. 早期筛查：社区或线上平台初步评估高风险人群；
2. 辅助诊断：为医生提供客观数据参考，减少主观偏差；
3. 疗效监测：追踪治疗过程中的情绪变化；
4. 远程健康：服务偏远或行动不便人群。

伦理考量

• 非诊断工具：仅辅助筛查，不能替代医生诊断；
• 隐私保护：严格保护敏感的语音/视频数据；
• 知情同意：使用者需明确数据用途并自愿参与；
• 避免标签化：不将算法输出作为固定标签；
• 公平性：验证模型在不同人群中的表现。

当前局限性

1. 数据规模：DAIC-WOZ样本量有限，泛化能力待验证；
2. 标注主观性：PHQ-8评分仍存在一定主观因素；
3. 实时性：句子级处理难以满足实时应用需求；
4. 跨数据集验证：需在独立数据集上测试效果。

未来方向

1. 引入Transformer架构（如BERT、Wav2Vec）提升特征提取能力；
2. 使用自注意力机制补充LSTM，捕捉长距离依赖；
3. 自监督学习：利用未标注数据预训练，减少对标注数据依赖；
4. 可解释性：开发可视化工具理解模型决策；
5. 多任务学习：同时预测抑郁症严重程度、焦虑水平等。

总结

该项目展示了AI在心理健康领域的应用潜力，多模态融合比单一模态更鲁棒准确。对学习者而言，是多模态学习的优质入门项目；对研究者，提供了可扩展的技术框架。需牢记伦理边界，确保技术服务于人。