从卫星微波数据估算全球地表水覆盖率：端到端机器学习框架解析

本文介绍了一套完整的端到端机器学习框架，用于从被动微波辐射计数据估算全球地表水覆盖率（SWF）。该框架涵盖数据预处理、探索性分析、模型选择与超参数优化、SHAP可解释性分析等全流程，以WindSat辐射计亮温数据为代理，为未来Copernicus Imaging Microwave Radiometer（CIMR）任务的数据处理提供参考。框架源码来自GitHub（链接：https://github.com/marcvem2AED/ML-framework-for-SWF-retrieval），发布于2026年5月27日。

地表水覆盖率（SWF）是洪水监测、水文研究和气候研究中的关键地球物理变量。传统SWF估算方法依赖物理模型，且通常仅针对单个时空观测点处理。随着CIMR任务推进，未来将有更丰富的被动微波辐射数据可用。本框架以WindSat辐射计亮温数据为代理，开发完整机器学习解决方案，为CIMR数据处理提供参考。

核心数据集：1. WindSat Daily TB Maps（Remote Sensing Systems提供，18.7GHz和37GHz通道，分辨率0.25°）；2. LPDR v3.1（NSIDC/NTSG提供，含全球日尺度SWF、土壤湿度、植被光学厚度等辅助数据）。

预处理流程：投影转换（LPDR从EASE-Grid v1重投影到WindSat的0.25°地理网格）、数据融合（合并为Parquet格式）、特征工程（计算地表发射率、大气校正因子及物理模型SWF估算值作为基准）。

框架采用结构化顺序建模策略：

1. 物理基准模型：评估差值比率（DR）公式在2018年测试集的表现；
2. 数据缩放研究：对比零值剔除、Box-Cox变换、特征标准化等6种方案；
3. 模型选择：基准测试XGBoost、LightGBM、CatBoost等梯度提升树及Ridge、ElasticNet线性模型，通过轻量级超参数优化筛选；
4. 特征工程：评估18组候选特征集，用前向选择、RFECV和SHAP分析剪枝；
5. 超参数优化：Optuna贝叶斯优化（200次试验，5折交叉验证）；
6. 可解释性分析：SHAP的全局特征重要性、Beeswarm图、依赖图及局部归因；
7. 误差分析：残差诊断、空间误差热力图、时间序列误差及分层分析。

框架探索引入空间邻域和时间历史信息提升预测精度，通过神经网络架构处理目标像元周围上下文窗口，实验性评估时空建模的价值。

实验环境：CPU（Intel Core i5-14600KF）、内存（32GB DDR5）、GPU（NVIDIA GeForce RTX5060 Ti）、存储（1TB NVMe SSD）、OS（Windows11 Home）。

依赖环境：分两个独立conda环境：主环境含numpy、pandas、xarray、scikit-learn、matplotlib、xgboost、optuna、shap等；GDAL专用环境含gdal、rasterio（conda-forge安装）。

使用方式：按顺序运行Notebook：1-数据预处理→2-探索性分析→3-模型训练→4-时空上下文实验。时间分割：2017年训练，2018年测试。

框架核心价值：1. 全流程覆盖（从原始数据到模型部署）；2. 可解释性优先（SHAP分析贯穿）；3. 系统化验证（每个决策经实验验证）；4. 面向实际应用（时间分割和误差分析考虑部署场景）。对遥感数据分析、地球科学机器学习应用开发者极具参考价值。