SpatialFusion：轻量级多模态基础模型实现病理图像与空间转录组联合分析

MIT团队开源SpatialFusion，一个结合空间转录组学与H&E病理图像的多模态深度学习框架，通过单细胞分辨率的双模态融合实现空间微环境精准识别

背景：空间组学分析的瓶颈\n\n空间转录组学（Spatial Transcriptomics, ST）技术能够在保留组织空间信息的同时测量基因表达，为理解肿瘤微环境、免疫反应和组织发育提供了前所未有的视角。然而，单独使用ST数据往往忽略了组织的形态学特征；而传统的H&E染色图像虽然保留了丰富的形态学信息，却缺乏分子层面的基因表达数据。\n\n如何有效地融合这两种模态的数据，在单细胞分辨率下识别具有生物学意义的空间微环境（spatial niches），一直是计算生物学领域的核心挑战。现有的方法往往受限于：\n\n- 单模态局限：仅依赖基因表达或仅依赖形态学，无法捕捉分子特征与组织结构之间的协调模式\n- 生物学可解释性不足：识别出的"微环境"缺乏明确的生物学功能注释\n- 计算资源需求高：大规模病理图像与单细胞数据的联合分析对计算效率提出极高要求\n\n## SpatialFusion的核心创新\n\n来自MIT Uhler实验室的研究团队开发了SpatialFusion，这是一个轻量级的多模态基础模型，专门用于通路感知的空间微环境映射。该方法的核心创新在于：\n\n### 1. 双模态嵌入融合架构\n\nSpatialFusion采用两阶段嵌入策略：\n\n- 分子嵌入：使用scGPT将空间转录组数据编码为低维分子表征\n- 形态嵌入：使用UNI（通用病理图像编码器）从H&E全切片图像提取形态学特征\n- 联合嵌入：通过自编码器（AE）和图卷积网络（GCN）将两种模态融合为统一的细胞表征\n\n### 2. 生物学先验引导的潜在空间设计\n\n与传统无监督聚类不同，SpatialFusion的潜在空间被显式训练为编码生物学通路激活信号。这意味着：\n\n- 每个识别出的微环境都具有明确的通路激活特征\n- 微环境定义具有跨组织的可重复性\n- 结果可直接关联到已知的生物学功能和信号通路\n\n### 3. 灵活的输入模式\n\nSpatialFusion支持多种输入配置：\n\n- 双模态模式：同时使用ST和H&E数据，获得最全面的分析结果\n- H&E-only模式：仅用病理图像即可预测空间微环境，适用于无ST数据的样本\n\n## 技术实现与使用\n\nSpatialFusion基于PyTorch和DGL（深度图学习库）构建，支持CPU和GPU环境。安装过程简洁明了：\n\nbash\nmamba create -n spatialfusion python=3.10 -y\nmamba activate spatialfusion\npip install spatialfusion\n\n\n使用流程分为四个主要步骤：\n\n1. 数据准备：准备单细胞分辨率的AnnData对象和对应的H&E全切片图像\n2. 单模态嵌入生成：分别运行scGPT和UNI获取分子和形态嵌入\n3. 多模态融合：调用SpatialFusion的run_full_embedding函数生成联合嵌入\n4. 聚类与可视化：使用Leiden算法进行微环境聚类，并通过UMAP和空间映射进行可视化\n\n## 应用价值与前景\n\nSpatialFusion的发布为空间组学研究带来了几个重要价值：\n\n- 精准医学：帮助识别肿瘤异质性微环境，为个性化治疗提供依据\n- 药物开发：通过通路级分析加速靶点发现和疗效评估\n- 基础研究：揭示组织发育和疾病进展的空间动力学机制\n\n该项目的开源实现（MIT许可证）包括完整的Python包、预训练模型权重、详细文档和教程笔记本，大大降低了研究门槛。配套数据已托管于Zenodo，确保研究结果的可重复性。\n\n## 总结\n\nSpatialFusion代表了多模态AI在生物医学领域的一次成功应用。它不仅在技术上实现了空间转录组与病理图像的有效融合，更重要的是将生物学先验知识嵌入模型设计，使AI识别的"微环境"真正具有生物学意义。这种"AI+生物学"的协同设计思路，为计算病理学和空间组学的发展提供了有价值的参考范式。

背景：空间组学分析的瓶颈\n\n空间转录组学（Spatial Transcriptomics, ST）技术能够在保留组织空间信息的同时测量基因表达，为理解肿瘤微环境、免疫反应和组织发育提供了前所未有的视角。然而，单独使用ST数据往往忽略了组织的形态学特征；而传统的H&E染色图像虽然保留了丰富的形态学信息，却缺乏分子层面的基因表达数据。\n\n如何有效地融合这两种模态的数据，在单细胞分辨率下识别具有生物学意义的空间微环境（spatial niches），一直是计算生物学领域的核心挑战。现有的方法往往受限于：\n\n- 单模态局限：仅依赖基因表达或仅依赖形态学，无法捕捉分子特征与组织结构之间的协调模式\n- 生物学可解释性不足：识别出的"微环境"缺乏明确的生物学功能注释\n- 计算资源需求高：大规模病理图像与单细胞数据的联合分析对计算效率提出极高要求\n\nSpatialFusion的核心创新\n\n来自MIT Uhler实验室的研究团队开发了SpatialFusion，这是一个轻量级的多模态基础模型，专门用于通路感知的空间微环境映射。该方法的核心创新在于：\n\n1. 双模态嵌入融合架构\n\nSpatialFusion采用两阶段嵌入策略：\n\n- 分子嵌入：使用scGPT将空间转录组数据编码为低维分子表征\n- 形态嵌入：使用UNI（通用病理图像编码器）从H&E全切片图像提取形态学特征\n- 联合嵌入：通过自编码器（AE）和图卷积网络（GCN）将两种模态融合为统一的细胞表征\n\n2. 生物学先验引导的潜在空间设计\n\n与传统无监督聚类不同，SpatialFusion的潜在空间被显式训练为编码生物学通路激活信号。这意味着：\n\n- 每个识别出的微环境都具有明确的通路激活特征\n- 微环境定义具有跨组织的可重复性\n- 结果可直接关联到已知的生物学功能和信号通路\n\n3. 灵活的输入模式\n\nSpatialFusion支持多种输入配置：\n\n- 双模态模式：同时使用ST和H&E数据，获得最全面的分析结果\n- H&E-only模式：仅用病理图像即可预测空间微环境，适用于无ST数据的样本\n\n技术实现与使用\n\nSpatialFusion基于PyTorch和DGL（深度图学习库）构建，支持CPU和GPU环境。安装过程简洁明了：\n\nbash\nmamba create -n spatialfusion python=3.10 -y\nmamba activate spatialfusion\npip install spatialfusion\n\n\n使用流程分为四个主要步骤：\n\n1. 数据准备：准备单细胞分辨率的AnnData对象和对应的H&E全切片图像\n2. 单模态嵌入生成：分别运行scGPT和UNI获取分子和形态嵌入\n3. 多模态融合：调用SpatialFusion的run_full_embedding函数生成联合嵌入\n4. 聚类与可视化：使用Leiden算法进行微环境聚类，并通过UMAP和空间映射进行可视化\n\n应用价值与前景\n\nSpatialFusion的发布为空间组学研究带来了几个重要价值：\n\n- 精准医学：帮助识别肿瘤异质性微环境，为个性化治疗提供依据\n- 药物开发：通过通路级分析加速靶点发现和疗效评估\n- 基础研究：揭示组织发育和疾病进展的空间动力学机制\n\n该项目的开源实现（MIT许可证）包括完整的Python包、预训练模型权重、详细文档和教程笔记本，大大降低了研究门槛。配套数据已托管于Zenodo，确保研究结果的可重复性。\n\n总结\n\nSpatialFusion代表了多模态AI在生物医学领域的一次成功应用。它不仅在技术上实现了空间转录组与病理图像的有效融合，更重要的是将生物学先验知识嵌入模型设计，使AI识别的"微环境"真正具有生物学意义。这种"AI+生物学"的协同设计思路，为计算病理学和空间组学的发展提供了有价值的参考范式。