ST-Path Survey：空间转录组学与病理学多模态融合综述

ST-Path Survey是一份系统性综述研究，全面回顾空间转录组学（ST）与病理学领域的多模态融合技术，提出三层分类体系（嵌入层、模型层、知识层），并绘制2018-2025年技术发展路线图。该项目由ChlorineHi维护，是开源项目，提供论文代码、数据、标准化评估框架等资源，旨在填补领域缺乏系统性梳理的空白，为研究者提供技术参考。

研究背景

空间转录组学（ST）可保留组织空间信息并测量基因表达，病理学通过显微镜图像分析组织形态特征。二者融合能更全面理解疾病机制（尤其癌症研究）。近年深度学习推动多模态融合进展，但领域缺乏系统性梳理。

项目意义

ST-Path Survey项目填补空白，为研究者提供全面技术综述与发展路线图。

嵌入层融合

关注特征表示层面整合：

• 早期融合：原始数据拼接/转换到统一空间，简单但易失模态信息；
• 晚期融合：各模态特征提取后决策层融合，保留模态特异性但缺交互信息；
• 中间融合：特征提取中间层融合，平衡优缺点，为主流方法。 代表性方法：注意力跨模态对齐、对比学习模态表示、自编码器共享隐空间。

模型层融合

关注网络架构设计：

• 编码器-解码器：独立编码器处理模态，共享解码器输出；
• Transformer：自注意力处理多模态序列（ViT与基因表达联合建模）；
• GNN：组织切片建模为图，捕捉空间依赖；
• 混合架构：结合CNN、Transformer、GNN优势。

知识层融合

关注领域知识整合：

• 先验知识嵌入：生物学通路、基因调控网络以图/约束嵌入模型；
• 因果推理：推断基因表达与形态特征因果关系；
• 可解释性：注意力可视化、特征归因等；
• 知识图谱集成：病理-基因组学图谱支持推理。

2018-2020：表示学习兴起

深度学习在单模态应用：

• 2018：DeepST用CNN处理ST数据；
• 2019：BERT启发基因表达序列建模；
• 2020：自监督学习应用于病理图像。 突破：空间信息编码、基因表达降维、病理图像切片处理。

2020-2022：多模态融合探索

系统性融合两种模态：

• 2020：首批多模态方法出现；
• 2021：对比学习显潜力；
• 2022：注意力成跨模态对齐标准。 代表性工作：ST-Net、DeepSpaCE、HisToGene。

2022-2024：基础模型时代

大规模预训练主导：

• 2022：CLIP启发生物医学应用；
• 2023：病理图像基础模型（UNI、Prov-GigaPath）发布；
• 2024：ST基础模型出现。 趋势：自监督预训练成标准、模型规模增长、多任务能力提升。

2024-2025：统一与标准化

建立统一框架与评估标准：

• 大规模多中心数据集构建；
• 标准化基准测试；
• 开源工具生态完善；
• 临床转化加速。

数据异质性

• 分辨率不匹配：病理图像高分辨率vs基因表达区域性；
• 数据稀疏性：ST数据大量零值vs病理图像密集；
• 尺度差异：分子水平vs细胞/组织水平。 解决方案：多尺度特征金字塔、跨分辨率对齐、缺失数据插补。

可解释性需求

生物医学需模型可解释：

• 解释预测原因；
• 识别关键基因与形态特征；
• 发现新机制。 进展：注意力可视化、SHAP/Integrated Gradients特征归因、CAV。

数据隐私与共享

医学数据敏感限制数据集构建：

• 隐私法规（HIPAA、GDPR）；
• 机构间共享障碍；
• 标注数据难获取。 应对：联邦学习、合成数据生成、迁移学习/领域适应。

癌症分型与预后

• 区分传统方法难分亚型；
• 预测预后与治疗反应；
• 发现新治疗靶点。

肿瘤微环境分析

• 免疫细胞浸润模式；
• 肿瘤-基质边界特征；
• 空间异质性量化。

药物响应预测

• 化疗敏感性预测；
• 免疫治疗响应评估；
• 耐药机制研究。

未来发展方向

• 大规模预训练：百万级切片数据整合、自监督策略优化；
• 多模态基础模型：处理图像/基因/文本、零样本学习、跨癌种泛化；
• 因果推理：基因与形态因果推断、治疗机制建模；
• 临床转化：实时分析系统、监管审批、工作流程整合。

总结

ST-Path Survey为领域提供系统性综述，三层分类体系与路线图帮助研究者理清技术脉络。对计算病理学、生物信息学、医学AI研究者是重要参考，领域有望在精准医疗发挥更大作用。