基于视觉语言模型的XR多模态情感识别框架解析

本文介绍了一个面向XR（扩展现实）环境的多模态情感识别开源项目，该项目利用Gemma 4等视觉语言模型，结合LoRA微调的视觉骨干网络，实现对用户面部表情的实时情感分析。

随着XR（扩展现实）技术在虚拟现实、增强现实和混合现实领域的快速发展，如何准确识别用户在沉浸式环境中的情感状态成为了一个重要的研究课题。传统的情感识别方法往往依赖单一模态（如仅面部表情或仅语音），而在XR环境中，用户的多维度行为数据（面部、 gaze、头部运动等）为更精准的情感理解提供了可能。

本项目旨在构建一个模块化的多模态情感识别框架，利用当前最先进的视觉语言模型（VLM）作为核心推理引擎，为XR应用提供实时的用户情感反馈能力。

该项目的架构设计体现了清晰的层次化和模块化思维，主要分为以下几个核心组件：

项目采用分层的目录结构来管理不同类型的原始和处理后数据。当前已实现面部数据（face）的完整流程，并为音频、gaze瞳孔追踪、头部运动等模态预留了扩展接口。这种设计允许研究者逐步添加新的感知通道，而不会影响现有功能的稳定性。

数据标注采用CSV格式存储，便于与主流机器学习框架集成。项目还提供了从Hugging Face下载AffectNet数据集的脚本，降低了数据准备的门槛。

配置文件采用YAML格式，分为数据配置、模型配置和实验配置三个层次。模型配置中特别值得关注的是：

• gemma4.yaml: 直接使用Google的Gemma 4视觉语言模型进行端到端情感识别
• vision_lora.yaml: 采用LoRA（Low-Rank Adaptation）技术对视觉骨干网络进行参数高效微调
• vision_backbone.yaml: 独立的视觉特征提取器配置

这种多策略并行的配置方式，使研究者能够灵活对比不同技术路线的性能差异。

项目实现了三种差异化的情感识别流水线，分别对应不同的技术路线和应用场景：

面部视频 → Gemma 4 → 情感标签

这是最直接的路径，将原始面部视频帧输入Gemma 4模型，利用其内置的视觉理解能力直接输出情感分类结果。优势在于实现简单，无需额外的训练过程；劣势是依赖通用VLM的零样本能力，可能在特定XR场景下的准确率受限。

面部视频 → 视觉模型(LoRA) → 情感标签

该方案通过LoRA技术在较小的可训练参数子集上适应特定情感识别任务，既保留了预训练视觉模型的强大特征提取能力，又实现了对目标任务的定制化优化。LoRA的优势在于训练效率高、显存占用少，特别适合在资源受限的XR设备上部署。