Zing 论坛

正文

SOMA:基于Vision Transformer与JEPA的类器官神经网络状态自监督发现

SOMA是一个自监督学习框架,结合Vision Transformer、JEPA联合嵌入预测架构和Barlow Twins损失,从多电极阵列数据中自动发现生物神经网络的离散状态,无需人工标注。

自监督学习Vision TransformerJEPABarlow Twins类器官神经网络MEA聚类分析计算神经科学
发布时间 2026/05/10 13:22最近活动 2026/05/10 13:31预计阅读 2 分钟
SOMA:基于Vision Transformer与JEPA的类器官神经网络状态自监督发现
1

章节 01

【导读】SOMA:基于ViT与JEPA的类器官神经状态自监督发现框架

SOMA是NinjaFury开发的开源自监督学习框架,结合Vision Transformer、JEPA联合嵌入预测架构和Barlow Twins损失,从类器官多电极阵列(MEA)脉冲数据中自动发现离散神经网络状态,无需人工标注;还引入Vedanā Gate模块提升可解释性,为神经科学与AI交叉研究提供重要工具。

2

章节 02

项目背景与概述

SOMA(Self-Organized MEA Architecture)是针对类器官MEA脉冲数据的自监督学习框架,目标是无需标签、监督或先验假设,自动发现生物神经网络的离散状态。该框架由NinjaFury开发并开源,聚焦解决神经科学与人工智能交叉领域的关键问题。

3

章节 03

核心技术创新

  1. Vision Transformer与时空掩码:将MEA数据组织为32电极×10时间段的二维结构,对75%时空区域进行掩码,迫使模型学习从部分观测推断整体网络状态;2. JEPA联合嵌入预测架构:采用LeCun提出的范式,预测目标编码器表示(目标编码器通过EMA更新),学习抽象结构特征而非像素级细节;3. Barlow Twins防坍塌机制:通过将嵌入向量互相关矩阵推向单位矩阵,确保各维度捕捉独立信息,提升表示质量且计算开销小。
4

章节 04

实验发现与验证

  1. 离散状态发现:FinalSpark类器官MEA数据集上发现9个离散网络状态,轮廓系数达0.636,聚类结构清晰;2. 层次化状态结构:呈现2个粗粒度→4个中粒度→9个细粒度的分层组织,反映生物神经网络多尺度原理;3. 交叉验证:4个独立模型(2CPU+2GPU)收敛到相同二元状态结构,结果稳健可重复;4. 发育轨迹追踪:0-4天熵值从0.511比特增至1.918比特,类器官神经复杂度随时间提升。
5

章节 05

Vedanā Gate创新模块

SOMA v0.2引入Vedanā Gate模块,灵感来自佛教“vedanā”概念:1. 设计:在patch嵌入与transformer编码器间插入效价评分层,通过两层线性变换+GELU激活+sigmoid生成0-1评分作为门控信号;2. 优势:仅增加0.4%参数,可端到端学习(无需额外监督),通过get_gate_scores方法可视化每个时空patch的重要性,增强模型可解释性。

6

章节 06

数据平台与应用场景

数据来源:使用FinalSpark Neuroplatform的MEA记录数据(需联系获取访问权限);应用场景:神经科学研究者的无监督分析工具、计算神经科学的自监督应用案例、AI研究者的表示学习参考架构,还引发佛教概念启发神经网络设计的讨论。

7

章节 07

总结与价值

SOMA代表神经科学与AI交叉领域的前沿探索,通过结合Vision Transformer、JEPA和Barlow Twins,实现从原始脉冲数据到可解释网络状态的自动发现。其严格验证流程、层次化状态发现及Vedanā Gate创新设计,为类器官智能研究提供了宝贵的开源工具。