MEDS：弥合语音交互中的"情感鸿沟"的多模态情绪检测系统

MEDS是创新的多模态情绪检测系统，通过融合语音转文本（Whisper）与音频特征提取（Librosa）技术，结合Oumi小型语言模型，识别用户话语与真实情绪的差异，解决AI语音助手无法感知真实情绪的“情感鸿沟”问题，具备隐私优先、低延迟等特点，为语音交互带来情感理解能力。

传统语音AI仅依赖文本输入，错过语调、语速等声学特征（人类沟通中语言内容仅占7%，声音特征占93%），导致无法感知用户真实情绪。这种局限在心理健康支持、客户服务等场景尤为突出，如抑郁用户说“我没事”时，AI无法察觉隐藏痛苦。

MEDS采用“情绪+语义融合”方法：1.语音转文本层用Whisper模型实现准确识别；2.音频智能层通过Librosa提取音高、能量、音色、语速等特征；3.智能推理层用微调的Oumi小型语言模型（本地处理、低延迟、资源高效）综合分析文本与音频，识别“虚假良好”等复杂情绪。系统采用前后端分离架构，前端为实时可视化仪表板，后端用Flask协调处理。

MEDS适用于多场景：心理健康支持（识别情绪危机触发关怀）、客户服务（监测客户情绪升级对话）、教育辅导（分析学生状态调整教学）、智能家居（根据情绪推荐内容）。

MEDS由Team pENTEX五人团队开发：Mannat Sharma负责架构与文档，Chaitali Mahajan负责前端，Gurshant Singh Mohal负责AI管道集成，Soham Sahu负责基础设施，Vrinda Kaushal负责DevOps与Git管理。

当前挑战：数据隐私合规、跨文化情绪识别差异、实时性能优化。未来计划：扩展多语言方言支持、集成面部表情分析、开发轻量级模型支持移动设备、建立情绪数据集推动研究。

MEDS代表语音AI从理解“说了什么”向感知“怎么说”和“感受如何”的演进，为弥合人机交互情感鸿沟提供可行路径。未来AI助手将兼具智商与情商，理解话语背后的情感世界。