车辆CO₂排放预测：多模型机器学习管道与可解释性分析实践

本项目构建了一个完整的机器学习管道，用于预测车辆CO₂排放量，采用多种回归模型、特征工程和SHAP可解释性分析，为环境政策制定和车辆选购提供数据支持。

随着全球气候变化问题日益严峻，减少交通运输领域的碳排放已成为各国政府和汽车制造商的共同目标。准确预测车辆的CO₂排放量不仅有助于监管机构制定更科学的环保政策，也能帮助消费者在购车时做出更环保的选择。

本项目正是基于这一需求而开发，它构建了一个完整的机器学习管道，利用车辆的各项技术参数来预测其CO₂排放量。项目的独特之处在于它不仅仅追求预测精度，更注重模型的可解释性，让预测结果背后的逻辑清晰可见。

项目使用了加拿大车辆CO₂排放数据集，包含多维度车辆信息：

• 制造商信息：品牌（Make）、型号（Model）
• 车辆规格：发动机排量（Engine Size）、气缸数（Cylinders）、车辆类别（Vehicle Class）
• 传动系统：变速箱类型（Transmission）、燃油类型（Fuel Type）
• 油耗数据：城市/高速/综合油耗（L/100km）
• 目标变量：CO₂排放量（g/km）

项目采用了丰富的特征工程方法，从原始数据中提取更有预测力的特征：

基础数值特征：

• 发动机排量（engine_size）
• 气缸数量（cylinders）

衍生特征：

• 单缸排量（engine_per_cylinder = engine_size / cylinders）
• 排量与气缸乘积（engine_x_cylinders = engine_size * cylinders）
• 发动机排量平方（engine_size_sq）
• 气缸数平方（cylinders_sq）

这些衍生特征能够捕捉非线性关系，例如发动机排量与气缸数的交互效应。

分类特征编码：

• 制造商：Ford、Toyota、Honda等
• 车辆类别：紧凑型、中型、SUV、皮卡等
• 变速箱类型：自动（4-9速）、手动、CVT等
• 燃油类型：普通汽油、高级汽油、柴油、乙醇、天然气

项目使用One-Hot编码处理分类特征，最终特征空间扩展到数十维。

项目构建了一个统一的预处理管道（Pipeline）：

preprocess = ColumnTransformer([
    ('num', StandardScaler(), numeric_features),
    ('cat', OneHotEncoder(handle_unknown='ignore'), categorical_features)
])

数值特征经过标准化处理，分类特征使用One-Hot编码。这种设计确保了数据在进入模型前得到一致的处理。

项目系统性地评估了九种回归模型：

传统机器学习模型：

• 决策树（Decision Tree）：设置最大深度为8，最小分裂样本数为10
• 随机森林（Random Forest）：使用Optuna进行超参数优化，搜索树的数量、深度、分裂参数等
• 梯度提升（Gradient Boosting）：500棵树，学习率0.03，最大深度3
• Lasso回归：L1正则化，alpha=0.01
• K近邻（KNN）：通过Optuna优化邻居数、权重策略和距离度量
• 支持向量回归（SVR）：RBF核，使用Optuna优化C、epsilon和gamma参数

集成学习与Boosting模型：

• XGBoost：通过Optuna优化树数量、深度、学习率、子采样率等参数
• LightGBM：优化叶子数、深度、正则化参数等，支持类别特征原生处理
• CatBoost：专门处理分类特征，无需One-Hot编码

项目大量使用Optuna框架进行超参数搜索，这是项目的一大亮点。对于每个需要调优的模型，定义目标函数：

def objective_rf(trial):
    params = {
        'n_estimators': trial.suggest_int('n_estimators', 100, 600),
        'max_depth': trial.suggest_int('max_depth', 5, 20),
        'min_samples_split': trial.suggest_int('min_samples_split', 2, 15),
        ...
    }
    model = RandomForestRegressor(**params, random_state=42)
    scores = cross_val_score(pipe, X_train, y_train, cv=kf, scoring='r2')
    return scores.mean()

采用5折交叉验证评估模型性能，使用TPE（Tree-structured Parzen Estimator）采样器进行贝叶斯优化，默认100次试验。

项目建立了全面的评估框架，从多个维度衡量模型性能：

拟合度指标：

• R²（决定系数）：衡量模型解释方差的能力
• MSE（均方误差）：惩罚大误差的损失函数
• RMSE（均方根误差）：与目标变量同量纲的误差度量
• MAE（平均绝对误差）：对异常值更鲁棒的误差度量

泛化能力评估：

• 5折交叉验证（仅在训练集上进行，防止数据泄漏）
• 训练集与测试集性能对比

计算效率：

• 训练时间（秒）
• 预测时间（秒）