# 从睡眠脑电波解码情绪：跨被试机器学习的三阶段深度学习框架

> 本文介绍了一个在Kaggle睡眠情绪预测竞赛中获得第三名的开源项目，该项目通过自监督预训练、元学习和时空融合的三阶段深度学习流程，实现了从NREM睡眠EEG信号中解码情绪记忆激活状态的目标。

- 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo)
- 发布时间: 2026-05-23T23:15:19.000Z
- 最近活动: 2026-05-23T23:18:59.877Z
- 热度: 163.9
- 关键词: EEG, 睡眠, 情绪解码, 机器学习, 深度学习, 自监督学习, MAML, 元学习, 脑机接口, 神经科学
- 页面链接: https://www.zingnex.cn/forum/thread/geo-github-mrsa3dola-tmr-eeg-emotion-decoding
- Canonical: https://www.zingnex.cn/forum/thread/geo-github-mrsa3dola-tmr-eeg-emotion-decoding
- Markdown 来源: ingested_event

---

## 原作者与来源

- **原作者/维护者：** MrSa3dola
- **来源平台：** GitHub
- **原始项目名称：** TMR-EEG-Emotion-Decoding
- **原始链接：** https://github.com/MrSa3dola/TMR-EEG-Emotion-Decoding
- **发布时间：** 2026年5月23日
- **竞赛成绩：** Kaggle "Predicting Emotions During Sleep Using Brain Waves" 竞赛第三名（private leaderboard）

---

## 项目背景与研究意义

睡眠中的情绪记忆巩固是神经科学领域的重要课题。近年来，Targeted Memory Reactivation（TMR，靶向记忆再激活）技术通过在睡眠期间呈现与先前学习相关的线索（如声音或气味），可以选择性地增强特定记忆的巩固。然而，如何实时监测睡眠中的情绪状态变化，一直是该领域的技术瓶颈。

传统EEG分析方法往往依赖人工特征提取和单被试建模，难以实现跨被试的泛化。本项目针对这一挑战，开发了一套端到端的深度学习流程，能够从16通道睡眠EEG信号中，以每秒200个采样点的时间分辨率，实时预测情绪（emotional）vs中性（neutral）状态。该项目在Kaggle的睡眠情绪预测竞赛中取得了第三名的优异成绩，展示了其方法的有效性。

---

## 核心任务与数据特点

### 任务定义

模型需要对每个试次（trial）的200个时间点（1秒，200Hz采样）输出情绪概率P(emotional)，评估指标采用复合AUC，奖励持续高于随机水平的预测窗口。

### 数据构成

- **训练集：** 14名被试，标注了情绪/中性标签
- **测试集：** 3名被试，未标注
- **信号维度：** 16通道 × 200时间点 × 5频带（经预处理）

该任务的核心难点在于单试次信噪比极低——个体试次被噪声主导，情绪/中性分离仅在试次平均后的theta功率中隐约可见。这要求模型具备强大的特征提取能力和跨被试泛化能力。

---

## 三阶段深度学习架构

本项目采用了一种创新的三阶段训练策略，结合了自监督学习、元学习和多流融合的思想。

### 第一阶段：自监督预训练（Masked EEG Autoencoder）

第一阶段使用掩码自编码器（MAE）在所有数据（训练+测试，无需标签）上进行自监督预训练。模型通过重建随机掩蔽的时间点来学习EEG的时间表征。

**关键设计：**
- **双向掩码：** Transformer可以看到掩码位置前后的上下文
- **40%掩码率：** 激进的掩码迫使模型学习有意义的时间模式
- **共享架构：** MAE编码器与后续通道专家架构相同，可直接迁移权重

每个通道的输入序列（200时间点 × 5频带）经过线性投影（5→16维）、位置编码、40%随机掩码后，输入3层Transformer编码器（d=16，4头，FFN=128），最后通过线性层重建掩码位置。

### 第二阶段：元学习训练通道专家（FOMAML）

第二阶段为每个EEG通道训练独立的Transformer专家，共16个。专家网络从MAE编码器权重初始化，然后通过一阶MAML（FOMAML）进行元训练，以实现对新被试的快速适应。

**FOMAML机制：**
- 内循环：3步梯度更新适应特定被试
- 外循环：在所有被试上优化元参数
- 支持跨被试泛化的LOPO（留一被试交叉验证）

每个通道专家包含约19,489个参数，16个专家总计约311K参数。这种通道级专家设计允许模型捕捉不同脑区间的特异性模式。

### 第三阶段：时空融合与端到端优化

第三阶段训练两个轻量级的"混合器"（Blender）模型，融合16个通道专家的隐藏状态：

**TCN Blender（9,906参数）：**
- 使用Conv2d进行空间融合
- 采用扩张因果卷积（dilation 1, 2, 4）捕捉多尺度时间依赖
- 适合建模局部时间模式

**Attention Blender（25,201参数）：**
- 多头注意力机制进行空间融合
- 2层Transformer进行时间建模
- 擅长捕捉全局时间依赖

**端到端微调（E2E Fine-tuning）：**
在最终提交阶段，模型进行端到端联合优化：通道专家以低学习率（1e-5）微调，混合器以较高学习率（1e-3）训练，实现特征提取与融合策略的协同优化。

---

## 数据预处理流程

### 1. 欧几里得对齐（Euclidean Alignment）

通过对空间协方差矩阵进行白化，减少被试间的协方差差异：

```
R^(-1/2) · X
```

其中R是被试所有试次的平均协方差矩阵。这对跨被试泛化至关重要。

### 2. 多频带对数希尔伯特功率提取

从5个神经生理学 motivated 频带提取对数功率特征：

| 频带 | 范围 | 相关性 |
|------|------|--------|
| Delta | 1-4 Hz | 慢波睡眠活动 |
| Theta | 4-8 Hz | 情绪记忆巩固 |
| Alpha | 8-12 Hz | 放松、注意门控 |
| Sigma | 11-16 Hz | 睡眠纺锤波、记忆重放 |
| Beta | 16-30 Hz | 唤醒、情绪反应性 |

处理流程：Butterworth带通滤波（4阶）→ Hilbert解析信号 → 平方幅度 → log1p变换（高斯化重尾分布）。

### 3. 稳健归一化与异常值剔除

- 每通道每频带：减去中位数，除以IQR（四分位距）
- 剔除峰值幅度超过3倍标准差的试次（训练集14.2%被剔除）

---

## 实验结果与性能分析

### 竞赛成绩

- **Private Leaderboard：** 第三名，得分0.531
- **团队名称：** Moon
- **最佳本地LOPO分数：** 0.5063（TCN Blender）

### 本地交叉验证结果

| Blender | 原始分数 | 平滑后分数 | Sigma |
|---------|----------|------------|-------|
| TCN | 0.5063 | 0.5063 | 0 |
| Attention | 0.5000 | 0.5041 | 2 |

TCN Blender在原始分数上表现更优，而Attention Blender经过高斯平滑后接近TCN性能。最终提交采用TCN Blender的预测。

### 模型规模与效率

| 组件 | 参数量 | 描述 |
|------|--------|------|
| MAE编码器 | 19,573 | 3层Transformer，40%掩码 |
| 16×通道专家 | 311,824 | 每专家19,489参数，FOMAML训练 |
| TCN Blender | 9,906 | 空间融合+扩张TCN |
| Attention Blender | 25,201 | 多头注意力+Transformer |
| **推理总计** | **346,931** | 轻量化端到端模型 |

整个推理模型仅约35万参数，在NVIDIA RTX 4000 Ada（21GB显存）上训练，推理一次约2分钟。

---

## 技术亮点与创新点

### 1. 自监督预训练利用无标签数据

通过MAE在所有数据（包括测试集）上进行自监督预训练，充分利用了有限的EEG数据。这种设计没有标签泄漏风险，因为预训练完全不使用标签信息。

### 2. 通道级专家+元学习

为每个EEG通道训练独立专家，并通过FOMAML实现快速适应，这种设计既捕捉了通道特异性，又保证了跨被试泛化能力。

### 3. 双混合器融合策略

TCN和Attention Blender分别擅长局部和全局时间建模，两者的结合提供了互补的时空特征表示。

### 4. 端到端微调实现协同优化

最终阶段的E2E微调允许特征提取器（通道专家）和融合策略（混合器）协同进化，进一步提升性能。

### 5. 完整的断点续训机制

管道在每个阶段保存检查点，支持从任意中断点恢复训练，这对长时间训练至关重要。

---

## 应用前景与延伸思考

该项目的成功为睡眠神经科学和脑机接口领域提供了新的技术范式：

1. **睡眠监测设备：** 轻量化模型适合部署在可穿戴EEG设备上，实现实时情绪状态监测
2. **临床睡眠医学：** 可用于评估睡眠障碍患者的情绪调节能力，或监测治疗效果
3. **记忆增强研究：** 结合TMR技术，可实现闭环的记忆巩固增强系统
4. **跨被试迁移：** FOMAML训练的专家网络展示了良好的跨被试泛化能力，为个性化模型适应提供了基础

该项目的代码完全开源，包含完整的训练管道、推理脚本和详细的文档，为后续研究提供了良好的起点。