GenBrain是一个专为多模态脑影像设计的生成式基础模型，基于UK Biobank大规模神经影像数据预训练，在81个独立站点验证，支持结构合成、功能合成、疾病诊断增强等多种下游任务。

GenBrain：多模态脑影像生成式基础模型\n\n## 项目背景与核心定位\n\n神经影像学是理解大脑结构和功能的关键工具，但多模态脑影像数据的获取成本高昂且技术复杂。GenBrain作为一个生成式基础模型，专门设计用于多模态脑影像的生成、增强和转换，为神经科学研究和临床应用提供了强大的AI驱动工具。\n\n该项目基于UK Biobank的大规模神经影像数据进行预训练，并在81个独立站点进行了验证，展现出强大的跨模态泛化能力和下游任务适应性。GenBrain的发布标志着脑影像AI从专用模型向基础模型范式的重要转变。\n\n## 技术架构与核心能力\n\n### 多模态支持\n\nGenBrain v1.0目前支持T1加权和T2-FLAIR两种主要结构模态，可处理以下核心任务：\n\n#### 结构合成（Structural Synthesis）\n\n实现不同结构模态之间的双向转换，例如T1w与FLAIR之间的相互合成。这一能力对于补充缺失模态、降低扫描成本具有重要意义。\n\n#### 功能合成（Functional Synthesis）\n\n支持从静息态功能磁共振（rs-fMRI）功能连接（FC）生成任务态fMRI激活图。具体而言，模型可以将15个基于种子点的rs-fMRI功能连接转换为特定任务（如"形状"任务）的对比图。\n\n#### 结构-功能合成（Structure-Function Synthesis）\n\n实现弥散磁共振成像（dMRI）标量图到rs-fMRI功能连接的转换，例如将9个dMRI图转换为语言网络的功能连接。这种跨模态合成能力为理解大脑结构与功能的关系提供了新工具。\n\n## 下游应用场景\n\n### 图像增强与修复\n\nGenBrain可用于去噪和运动校正，提升低质量脑影像的可用性。在标准桌面计算机配备20GB以上显存的NVIDIA GPU上，使用DDIM（50步）对单样本进行推理仅需约10-30秒。\n\n### 疾病诊断增强\n\n通过在带有疾病标签的图像上微调，GenBrain能够生成合成图像，与真实图像的特征结合后输入机器学习分类器（LightGBM），显著提升跨站点诊断的泛化能力。具体应用包括：\n\n#### 精神分裂症与阿尔茨海默病预测\n\n合成图像的特征作为定量输入，改善了机器学习分类器在跨站点诊断中的表现。\n\n#### 脑广泛关联研究（BWAS）可靠性提升\n\n利用GenBrain学习的人群级先验知识，生成的合成图像提高了脑广泛关联研究的可靠性，涵盖精神分裂症、重度抑郁症和自闭症谱系障碍等疾病。\n\n#### 临床级影像诊断\n\n在急性中风严重程度和慢性失语症预测任务中，通过将合成图像以不同比例添加到真实图像中训练预测模型，显著提升了诊断性能。\n\n### 图像超分辨率\n\nGenBrain支持脑影像的超分辨率重建，例如将2mm T1w图像提升至1mm分辨率。处理流程首先使用最近邻插值将低分辨率图像上采样到目标分辨率，然后通过GenBrain进行超分辨率处理。\n\n## 数据处理与预处理流程\n\n### 标准化空间配准\n\nUK Biobank多模态脑影像数据集被非线性配准到MNI152 2mm标准空间（方向：LAS）。根据模板中的非零索引提取脑体素，并保存为.npy文件（存储为1D数组，N_voxel=228,453）。项目推荐使用FSL软件进行预处理。\n\n### 预训练配置\n\n预训练需要准备模型参数、数据文件和标签文件（包括个体年龄、性别和成像模态信息），标签文件存放在labels/目录中。表型信息和成像模态详情可在data_info.json中找到。\n\n## 模型训练与部署\n\n### 环境要求\n\n- 操作系统：Ubuntu 22.04.5 LTS（内核3.10.0-1160）\n- Python版本：3.10.12\n- 核心库：PyTorch 2.4.1+cu118，nibabel 5.3.2\n- 硬件：NVIDIA A100-SXM，80GB显存（推荐）\n\n### 多GPU分布式训练\n\n预训练支持分布式数据并行（Distributed Data Parallel），推荐配置为1个节点配备6个A100 GPU：\n\nbash\ntorchrun --nnodes=1 --nproc_per_node=6 train.py\n\n\n### 微调与推理\n\n针对特定下游任务的微调流程：\n\n1. 数据预处理：与预训练阶段类似的预处理流程\n2. 架构适配：根据目标任务调整模型架构\n - 图像级任务：调整patchify层\n - 疾病标签微调：添加疾病标签嵌入器\n3. 执行微调与推理：\n\nbash\ntorchrun --nnodes=N_Node --nproc_per_node=N_GPU finetune.py # 微调\npython evaluate.py # 推理\n\n\n## 模型获取与使用\n\n### 预训练权重\n\n模型权重可通过Google Drive下载，或联系通讯作者获取。使用预训练权重进行图像增强的演示已提供，其他下游任务的演示可使用提供的源代码执行。\n\n### 快速推理示例\n\n假设损坏的图像（T1w/T2-FLAIR模态）已配准到MNI152 2mm标准空间，且标签文件和模型权重已正确配置，可通过以下命令运行演示：\n\nbash\npython run_inference.py\n\n\n预期输出为增强后的MRI图像。\n\n## 研究意义与临床价值\n\n### 降低数据获取门槛\n\nGenBrain的生成能力使研究人员能够在缺乏完整多模态数据的情况下进行综合分析，显著降低了高质量脑影像研究的门槛。\n\n### 提升诊断一致性\n\n通过跨站点验证，GenBrain证明了其在不同扫描设备和协议下的泛化能力，有助于解决神经影像领域长期存在的跨中心一致性问题。\n\n### 隐私保护与数据增强\n\n合成图像可用于数据增强，在保护患者隐私的同时扩充训练数据集，对于罕见疾病的机器学习研究尤为重要。\n\n### 多模态融合研究\n\nGenBrain的结构-功能合成能力为理解大脑结构与功能的复杂关系提供了新工具，可能揭示传统分析方法难以发现的神经机制。\n\n## 项目状态与社区参与\n\n该项目对应已提交论文的版本标记为v1.0，仓库目前正在整理中，后续将添加更多更新。项目采用MIT许可证，鼓励研究社区的使用和改进。\n\n开发者表示愿意帮助用户解决使用过程中遇到的问题，体现了开放科学的精神。未来计划包括发布Docker镜像以支持直接执行，进一步降低使用门槛。\n\n## 结语\n\nGenBrain代表了神经影像AI领域的重要进展，将生成式AI技术应用于脑影像的多模态合成与增强。其强大的跨模态能力和在多个下游任务中的验证，为神经科学研究和临床诊断提供了新的可能性。随着项目的持续发展和社区的参与，GenBrain有望成为脑影像分析的标准工具之一，推动精准神经科学的发展。

GenBrain：多模态脑影像生成式基础模型\n\n项目背景与核心定位\n\n神经影像学是理解大脑结构和功能的关键工具，但多模态脑影像数据的获取成本高昂且技术复杂。GenBrain作为一个生成式基础模型，专门设计用于多模态脑影像的生成、增强和转换，为神经科学研究和临床应用提供了强大的AI驱动工具。\n\n该项目基于UK Biobank的大规模神经影像数据进行预训练，并在81个独立站点进行了验证，展现出强大的跨模态泛化能力和下游任务适应性。GenBrain的发布标志着脑影像AI从专用模型向基础模型范式的重要转变。\n\n技术架构与核心能力\n\n多模态支持\n\nGenBrain v1.0目前支持T1加权和T2-FLAIR两种主要结构模态，可处理以下核心任务：\n\n结构合成（Structural Synthesis）\n\n实现不同结构模态之间的双向转换，例如T1w与FLAIR之间的相互合成。这一能力对于补充缺失模态、降低扫描成本具有重要意义。\n\n功能合成（Functional Synthesis）\n\n支持从静息态功能磁共振（rs-fMRI）功能连接（FC）生成任务态fMRI激活图。具体而言，模型可以将15个基于种子点的rs-fMRI功能连接转换为特定任务（如"形状"任务）的对比图。\n\n结构-功能合成（Structure-Function Synthesis）\n\n实现弥散磁共振成像（dMRI）标量图到rs-fMRI功能连接的转换，例如将9个dMRI图转换为语言网络的功能连接。这种跨模态合成能力为理解大脑结构与功能的关系提供了新工具。\n\n下游应用场景\n\n图像增强与修复\n\nGenBrain可用于去噪和运动校正，提升低质量脑影像的可用性。在标准桌面计算机配备20GB以上显存的NVIDIA GPU上，使用DDIM（50步）对单样本进行推理仅需约10-30秒。\n\n疾病诊断增强\n\n通过在带有疾病标签的图像上微调，GenBrain能够生成合成图像，与真实图像的特征结合后输入机器学习分类器（LightGBM），显著提升跨站点诊断的泛化能力。具体应用包括：\n\n精神分裂症与阿尔茨海默病预测\n\n合成图像的特征作为定量输入，改善了机器学习分类器在跨站点诊断中的表现。\n\n脑广泛关联研究（BWAS）可靠性提升\n\n利用GenBrain学习的人群级先验知识，生成的合成图像提高了脑广泛关联研究的可靠性，涵盖精神分裂症、重度抑郁症和自闭症谱系障碍等疾病。\n\n临床级影像诊断\n\n在急性中风严重程度和慢性失语症预测任务中，通过将合成图像以不同比例添加到真实图像中训练预测模型，显著提升了诊断性能。\n\n图像超分辨率\n\nGenBrain支持脑影像的超分辨率重建，例如将2mm T1w图像提升至1mm分辨率。处理流程首先使用最近邻插值将低分辨率图像上采样到目标分辨率，然后通过GenBrain进行超分辨率处理。\n\n数据处理与预处理流程\n\n标准化空间配准\n\nUK Biobank多模态脑影像数据集被非线性配准到MNI152 2mm标准空间（方向：LAS）。根据模板中的非零索引提取脑体素，并保存为.npy文件（存储为1D数组，N_voxel=228,453）。项目推荐使用FSL软件进行预处理。\n\n预训练配置\n\n预训练需要准备模型参数、数据文件和标签文件（包括个体年龄、性别和成像模态信息），标签文件存放在labels/目录中。表型信息和成像模态详情可在data_info.json中找到。\n\n模型训练与部署\n\n环境要求\n\n- 操作系统：Ubuntu 22.04.5 LTS（内核3.10.0-1160）\n- Python版本：3.10.12\n- 核心库：PyTorch 2.4.1+cu118，nibabel 5.3.2\n- 硬件：NVIDIA A100-SXM，80GB显存（推荐）\n\n多GPU分布式训练\n\n预训练支持分布式数据并行（Distributed Data Parallel），推荐配置为1个节点配备6个A100 GPU：\n\nbash\ntorchrun --nnodes=1 --nproc_per_node=6 train.py\n\n\n微调与推理\n\n针对特定下游任务的微调流程：\n\n1. 数据预处理：与预训练阶段类似的预处理流程\n2. 架构适配：根据目标任务调整模型架构\n - 图像级任务：调整patchify层\n - 疾病标签微调：添加疾病标签嵌入器\n3. 执行微调与推理：\n\nbash\ntorchrun --nnodes=N_Node --nproc_per_node=N_GPU finetune.py 微调\npython evaluate.py 推理\n\n\n模型获取与使用\n\n预训练权重\n\n模型权重可通过Google Drive下载，或联系通讯作者获取。使用预训练权重进行图像增强的演示已提供，其他下游任务的演示可使用提供的源代码执行。\n\n快速推理示例\n\n假设损坏的图像（T1w/T2-FLAIR模态）已配准到MNI152 2mm标准空间，且标签文件和模型权重已正确配置，可通过以下命令运行演示：\n\nbash\npython run_inference.py\n\n\n预期输出为增强后的MRI图像。\n\n研究意义与临床价值\n\n降低数据获取门槛\n\nGenBrain的生成能力使研究人员能够在缺乏完整多模态数据的情况下进行综合分析，显著降低了高质量脑影像研究的门槛。\n\n提升诊断一致性\n\n通过跨站点验证，GenBrain证明了其在不同扫描设备和协议下的泛化能力，有助于解决神经影像领域长期存在的跨中心一致性问题。\n\n隐私保护与数据增强\n\n合成图像可用于数据增强，在保护患者隐私的同时扩充训练数据集，对于罕见疾病的机器学习研究尤为重要。\n\n多模态融合研究\n\nGenBrain的结构-功能合成能力为理解大脑结构与功能的复杂关系提供了新工具，可能揭示传统分析方法难以发现的神经机制。\n\n项目状态与社区参与\n\n该项目对应已提交论文的版本标记为v1.0，仓库目前正在整理中，后续将添加更多更新。项目采用MIT许可证，鼓励研究社区的使用和改进。\n\n开发者表示愿意帮助用户解决使用过程中遇到的问题，体现了开放科学的精神。未来计划包括发布Docker镜像以支持直接执行，进一步降低使用门槛。\n\n结语\n\nGenBrain代表了神经影像AI领域的重要进展，将生成式AI技术应用于脑影像的多模态合成与增强。其强大的跨模态能力和在多个下游任务中的验证，为神经科学研究和临床诊断提供了新的可能性。随着项目的持续发展和社区的参与，GenBrain有望成为脑影像分析的标准工具之一，推动精准神经科学的发展。