多模态情感识别系统：语音与文本融合的智能情绪分析

原作者/维护者：Abel-Jacob 来源平台：GitHub 项目链接：https://github.com/Abel-Jacob/multimodal-emotion-recognition 发布时间：2026年5月28日

本项目基于TESS数据集构建多模态情感识别系统，融合语音（CNN+BiLSTM+Attention）与文本（DistilBERT）特征，解决单一模态局限，提升情绪分类精准度，具有广泛人机交互应用前景。

情感识别是人机交互核心技术，传统单一模态（语音或文本）无法完整捕捉人类多模态情感表达。多模态系统通过同时分析语音和文本，降低误判率，更准确还原真实情绪状态。

语音处理管道：CNN + BiLSTM + Attention

CNN提取局部时频特征，BiLSTM建模时序依赖，注意力机制实现"选择性聆听"，语音管道测试准确率达91.81%。

文本处理管道：DistilBERT嵌入

DistilBERT（BERT轻量变体）保留95%性能，推理速度提升60%、体积缩减40%，捕捉文本语义与情感线索。

融合策略：多模态特征联合建模

深层融合让语音与文本特征交互增强，噪声时文本补充、歧义时语音修正，鲁棒性优于单一模态。

采用TESS数据集（多伦多大学老年女性录制），含7类情绪（愤怒/恐惧/快乐/悲伤/惊讶/厌恶/中性），每类200条样本。数据集划分为训练/验证/测试集，训练用数据增强（加噪声、调语速）提升泛化能力。

多模态情感识别应用场景：

• 智能客服：监测用户frustration自动转人工；
• 在线教育：分析学生情绪调整教学策略；
• 心理健康：辅助筛查情绪障碍早期症状；
• 车载系统：监测驾驶员情绪预防事故；
• 交互机器人："察言观色"提供贴心服务。

项目验证多模态融合有效性，语音与文本融合实现1+1>2效果，可扩展至面部表情、生理信号等模态。未来随大模型发展，准确率与泛化能力将提升；需关注用户隐私保护议题。