CortexFM：500万参数的脑机接口基础模型，6分钟训练即可超越15M模型

CortexFM 是一个轻量级多模态基础模型，仅用500万参数和6分钟训练时间，就在脑机接口运动解码任务上超越了1500万参数的 POYO-1 模型。

• 原作者/维护者: newempire1101 (Jaeguk Shin, Dong-Eui University)
• 来源平台: GitHub
• 原项目名: CortexFM
• 原始链接: https://github.com/newempire1101/CortexFM
• 发布时间: 2026年5月27日
• 相关论文: 硕士论文《CortexFM: A Lightweight Open Foundation Model for Spike + EMG Motor Decoding》(2026.6)

---

脑机接口（BCI）技术近年来取得了显著进展，但一个核心挑战始终存在：如何在保持高性能的同时降低模型的计算成本和训练时间？

当前主流的神经基础模型如 POYO-1（NeurIPS 2024）虽然性能出色，但参数量达到1550万，训练需要数小时。这对于需要频繁适配新用户的脑机接口应用来说，是一个不小的负担。

CortexFM 项目正是为解决这一问题而生。它证明了一个令人惊讶的事实：通过正确的预训练目标，一个仅有500万参数的小模型不仅能在性能上匹敌大模型，甚至能在分布外（OOD）场景下大幅超越它们。

---

CortexFM（Cortex Foundation Model）是一个轻量级的双模态 Transformer 模型，专门用于联合解码神经脉冲（spike）信号和肌电图（EMG）信号，以预测肢体运动。

指标	CortexFM	POYO-1	优势
参数量	504万	1547万	仅1/3.1×
FALCON M1 分布内 R²	+0.529	+0.498	+0.031
FALCON M1 分布外 R²	+0.387	-0.008	+0.395
预训练时间（RTX 5080）	6分钟	数小时	数量级提升
每会话适配器	3088参数	3088参数	相同方案

最引人注目的是，在分布外（OOD）测试场景中，CortexFM 的 R² 达到 +0.387，而 POYO-1 仅为 -0.008——这意味着 CortexFM 的跨会话泛化能力显著更强。

---

CortexFM 的成功并非来自简单的规模堆砌，而是源于精心设计的架构和预训练目标。

组件	配置
主干网络	PreNorm Transformer 编码器，10层 × 6头 × 192维
前馈网络	GELU激活，4倍扩展（隐藏层768维）
注意力机制	SDPA FLASH / EFFICIENT（PyTorch 2.x）
脉冲分词器	每个单元独立学习的嵌入，支持64个M1单元
EMG分词器	每层肌肉的MLP，16个包络通道
上下文窗口	64个时间步 × 20毫秒 = 1.28秒
总参数量	5,044,994（主干约445万，头部约60万）
检查点大小	60.7 MB

CortexFM 采用三任务联合损失函数：

L = w_spike · Poisson(spike) + w_emg · MSE(EMG) + w_cont · InfoNCE

其中权重为 (w_spike, w_emg, w_cont) = (1.0, 1.0, 0.5)。

• Poisson 损失：用于脉冲信号的重建
• MSE 损失：用于 EMG 信号的重建
• InfoNCE 对比损失：促进跨模态表示对齐

每个训练步骤中，一半的脉冲时间步和一半的 EMG 时间步被独立掩码，模型需要学习从剩余信号中重建完整序列。

---