多模态AI预测肺癌胸膜侵犯：深度学习、影像组学与临床标志物的融合实践

本文介绍一款开源多模态人工智能Web应用，整合3D深度学习、影像组学特征与临床生物标志物，用于预测肺癌患者胸膜侵犯风险，为临床决策提供智能化辅助工具。项目由Joeaicool维护，来源GitHub项目LungCancer-Pleural-AI，发布于2026年6月8日。

肺癌是全球发病率和死亡率最高的恶性肿瘤之一，胸膜侵犯是评估肺癌分期和预后的关键指标，直接影响治疗策略选择。传统CT诊断依赖医生经验，存在主观性强、一致性差等问题，亟需客观准确的自动化工具。

项目采用三模态融合策略：

1. 3D深度学习特征：基于MedicalNet预训练3D ResNet提取512维深层特征；
2. 影像组学特征：通过PyRadiomics提取原始图像、LoG变换、小波变换及纹理矩阵等定量特征；
3. 临床生物标志物：纳入CEA、CA125及年龄三个关键指标。

• 分类器：采用随机森林+粒子群优化（PSO）调优，模型权重保存于RF_PSO_best.pkl；
• 深度学习架构：改进ResNet-10 3D架构，通过预训练模型提取空间特征；
• 预处理：窗位调整、ROI裁剪、空间重采样及掩膜处理；
• 可解释性：集成SHAP库分析特征贡献度，增强决策信任度。

基于Streamlit框架开发，功能包括：

• 数据上传：支持CT扫描及肿瘤ROI掩膜（.nii.gz格式）；
• 临床数据输入：CEA、CA125及年龄录入；
• 自动预测：一键执行特征提取与预测，生成SHAP可视化；
• 结果展示：风险概率及特征重要性排序可视化。

• 术前评估：客观预测胸膜侵犯风险，辅助手术方案制定；
• 辅助决策：SHAP解释帮助医生理解预测依据，提升诊断一致性；
• 科研教学：开源框架推动多模态融合研究，可作为医学教育工具。

局限性：数据规模小、依赖精确ROI标注、单一任务； 未来方向：整合更多模态数据、开发自动分割模块、多中心验证、探索联邦学习技术。