deepSTRF：用深度学习模型解析听觉神经响应的PyTorch工具库

deepSTRF是一个基于PyTorch的开源库，专门用于系统识别感觉神经元，通过深度神经网络模型预测神经元对自然刺激的响应。

在神经科学领域，理解感觉神经元如何对复杂的环境刺激做出响应是一个核心问题。传统的线性模型（如线性-非线性级联模型）虽然在某些场景下表现良好，但面对自然刺激时往往力不从心。随着深度学习技术的发展，研究人员开始探索用更复杂的神经网络架构来建模神经响应，但这需要统一的数据接口、标准化的评估指标和可复现的基准测试。

deepSTRF应运而生，它是一个社区导向的PyTorch库，专注于感觉神经元的系统识别——即从自然刺激预测试验级别的神经响应（包括脉冲发放、钙荧光信号、脑电图、细胞内电位等）。该项目由德国哥廷根大学的Ulysse Rançon等人开发，并已在《PLOS Computational Biology》和《Communications Biology》等期刊发表相关研究成果。

deepSTRF采用模块化的四槽架构设计，将感觉编码模型分解为四个连续阶段：

1. wav2spec：将原始波形转换为频谱表示
2. prefiltering：预处理滤波，提取相关特征
3. core：核心神经网络编码器
4. readout：读出层，将隐藏表示映射到神经响应

这种设计允许研究人员灵活组合不同组件，快速实验各种架构变体。目前库中已实现多种广泛使用的编码器模型，包括：

• Linear：线性谱时感受野（STRF）基线
• 2D-CNN：二维卷积神经网络
• StateNet：基于循环神经网络（GRU/LSTM）的状态空间模型
• DNet：深度前馈网络
• Transformer：自注意力机制编码器
• NRF：网络感受野模型
• AdapTrans：ON/OFF听觉适应模块

deepSTRF的一大亮点是整合了多个公开可用的神经生理学数据集，通过统一的NeuralDatasetAPI提供一致的数据访问接口。目前已支持的数据集包括：

• NS1：动态范围压缩噪声刺激下的雪貂初级听觉皮层记录
• NAT4：自然声音刺激下的雪貂A1和PEG区域记录
• CRCNS AA1/AA2/AA4：斑胸草雀听觉脑区（Field L、MLd等）的电生理记录
• CRCNS AC1：小鼠听觉皮层和内侧膝状体记录
• Espejo 2019：雪貂A1对自然声音的分类响应
• Meliza 2025：斑胸草雀对被遮挡同类鸣叫的响应

• Alice EEG (Brodbeck 2023)：自然语音听辨过程中的头皮脑电记录

这些数据集都经过预处理，支持自动下载、NaN值处理（用于缺失试验）、神经元选择和数据拼接等实用功能。

为了确保结果的可比性，deepSTRF提供了一套NaN感知的评估指标，所有指标都支持torch.compile加速：

• corrcoef：皮尔逊相关系数
• normalized_corrcoef：Schoppe归一化相关系数（考虑响应噪声）
• FVE：解释方差分数
• signal/noise power：信号与噪声功率估计
• coherence：频域相干性

此外，库中还包含一个轻量级的Fitter训练工具（约150行代码），实现了早停和最佳检查点选择功能，用户可以在标准PyTorch训练循环基础上快速添加这些功能。

deepSTRF在Hugging Face Hub上发布了多个预训练检查点，用户可以直接加载使用，无需从头训练。例如，加载一个在NS1数据集上训练的StateNet模型只需几行代码：

from deepSTRF.models.audio import StateNet
model = StateNet.from_pretrained("urancon/deepSTRF-statenet-gru-ns1").eval()

目前发布的预训练模型在多个基准数据集上达到了领先水平。以StateNet为例，在NS1数据集上取得了55.6%的原始相关系数和75.1%的归一化相关系数；在AA1 Field L数据集上达到了71.0%的归一化相关系数。