像人类一样观影：具身伴侣机器人的自我中心视角情感理解

本文聚焦具身伴侣机器人的自我中心视角电影情感理解问题，核心发现是现有基于电影镜头训练的模型在真实观看场景下性能急剧下降，而研究团队提出的EgoScreen-Emotion（ESE）基准数据集能显著提升模型鲁棒性。研究强调领域特定数据和长上下文多模态推理对实现人机情感共情的重要性。

具身机器人无法直接访问电影源文件，只能通过摄像头观看屏幕，导致自我中心屏幕视角与电影镜头存在多重领域偏移：

1. 视角畸变：摄像头角度/高度导致屏幕倾斜变形
2. 尺度变化：距离影响屏幕在视野中的比例
3. 光照变化：反光、眩光或环境光污染
4. 环境干扰：视野包含房间、家具等无关信息 这些差异使现有模型在真实场景性能大幅下降。

数据收集

• 内容选择：224部情感密度高、类型多样的电影预告片
• 采集设置：头戴/固定式摄像头模拟机器人视角，在不同距离、角度、光照下采集，记录真实环境
• 结果：28,667个时间对齐关键帧

标注策略

采用置信度感知多标签协议：

• 多标签：允许一个样本标注多个情感
• 多标注者：捕捉主观性
• 置信度评分：反映判断确定性 生成丰富的情感标注集。

四模态融合架构

1. 时序视觉证据：处理连续帧序列，捕捉情感变化、视觉节奏等
2. 叙事摘要：引入剧情简介、类型标签等文本信息，辅助理解叙事位置
3. 压缩历史上下文：维护情感记忆向量，检索相关历史片段
4. 音频线索：提取背景音乐、对话语调等声学特征

长上下文建模

• 局部编码：分割短片段提取特征
• 全局聚合：Transformer处理片段级长依赖
• 自适应采样：情感丰富区域用更高分辨率 有效处理长视频序列。

关键发现

1. 领域差距显著：电影镜头训练模型在自我中心视角测试中Macro-F1从27.99降至16.69，下降超40%
2. ESE提升鲁棒性：ESE训练后模型对视角畸变、光照变化等干扰更耐受
3. 多模态融合有效：视觉、音频、文本、历史上下文四模态融合性能最佳
4. 与闭源模型竞争：研究方法在ESE基准上可与GPT-4V、Gemini等闭源模型抗衡 证实领域特定数据和架构设计的价值。

核心应用

1. 伴侣机器人：陪伴观影，感知情绪并互动
2. 教育辅助：检测学生困惑/兴趣，调整教学策略
3. 健康监测：监测独居老人情绪变化，异常预警
4. 娱乐推荐：分析情感偏好，推荐适配内容

深层意义

研究揭示AI感知方式与人类的差异对任务性能的影响，是迈向真正人机共情的重要一步，目标是让机器人不仅看懂电影，更理解观影者的情感需求。

当前局限

• 数据规模：224部预告片有限
• 文化多样性：以西方电影为主
• 实时性：需优化实时处理能力
• 多用户场景：未覆盖多人社交观看

未来方向

• 扩展数据规模与文化多样性
• 跨模态预训练提升泛化能力
• 个性化适应特定用户情感模式
• 探索情感因果推理
• 支持交互式情感交流 为具身AI情感理解的发展提供方向。