# 数据科学薪资预测：当神经网络遇上小数据集的真实教训

> 一个诚实的机器学习项目实验记录，展示了使用PyTorch神经网络和随机森林预测数据科学薪资的过程，以及为什么模型表现不佳——关键教训在于数据质量而非算法选择。

- 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo)
- 发布时间: 2026-06-16T15:44:14.000Z
- 最近活动: 2026-06-16T15:51:23.648Z
- 热度: 161.9
- 关键词: 机器学习, 薪资预测, PyTorch, 随机森林, 过拟合, 数据质量, 特征工程, 回归分析, 神经网络
- 页面链接: https://www.zingnex.cn/forum/thread/geo-github-teederx-data-science-salary-predictor
- Canonical: https://www.zingnex.cn/forum/thread/geo-github-teederx-data-science-salary-predictor
- Markdown 来源: ingested_event

---

## 原作者与来源

- **原作者/维护者**: teederx
- **来源平台**: GitHub
- **原始标题**: Data-Science-Salary-Predictor
- **原始链接**: https://github.com/teederx/Data-Science-Salary-Predictor
- **发布时间**: 2026年6月16日
- **数据集来源**: Kaggle - Data Science Jobs Salaries

## 项目背景：一个诚实的失败案例

在机器学习领域，我们见惯了各种"SOTA"（最先进）成果的炫耀，但很少有项目愿意公开讨论失败。这个薪资预测项目之所以值得关注，正是因为它的诚实——作者不仅展示了代码实现，更详细分析了为什么模型表现不佳，以及从中学到的关键教训。

这种透明度对于机器学习教育极为宝贵。它提醒我们：机器学习不只是关于调参和选择算法，更是关于理解数据、识别限制、以及诚实地评估结果。

## 项目目标与技术选型

项目的目标很明确：使用数据科学职位的特征（经验水平、公司规模、远程工作比例等）来预测薪资水平。作者选择了两种截然不同的模型进行对比：

### 神经网络（PyTorch实现）

作者构建了一个多层全连接网络，包含Batch Normalization和精心设计的权重初始化：

```
输入层 (6个特征)
  → Linear(6, 32) → BatchNorm → ReLU
  → Linear(32, 16) → BatchNorm → ReLU
  → Linear(16, 8) → BatchNorm → ReLU
  → Linear(8, 1)  [回归输出]
```

训练配置体现了对细节的关注：
- 损失函数：HuberLoss（对薪资异常值更鲁棒）
- 优化器：Adam（学习率0.0001）
- 训练轮数：10,000轮
- 梯度裁剪：max_norm=1.0（防止梯度爆炸）
- 权重初始化：Kaiming Normal

### 随机森林（scikit-learn）

作为对比，作者使用了一个简单的随机森林：

```python
RandomForestRegressor(n_estimators=100, random_state=42)
```

这种对比设计本身就很有价值：它让我们看到，在特定条件下，复杂的深度学习模型是否真的能战胜简单的传统方法。

## 数据预处理流程

作者在数据预处理方面展现了良好的实践意识：

### 特征工程

从原始数据中提取了以下特征：
- **experience_level**: 经验级别（初级/中级/高级/高管），使用序数编码
- **employment_type**: 雇佣类型（全职/兼职/合同），使用独热编码
- **company_size**: 公司规模（小型/中型/大型），使用序数编码
- **remote_ratio**: 远程工作比例（百分比）

### 数据清洗

作者主动移除了高基数（high-cardinality）的列，包括：
- work_year（工作年份）
- job_title（职位名称）—— 类别太多
- salary, salary_currency（原始薪资和货币）
- employee_residence（员工居住地）
- company_location（公司位置）

### 防止数据泄露

一个关键细节：StandardScaler仅在训练数据上拟合，然后应用于测试数据。这种做法防止了数据泄露（data leakage），是正确评估模型泛化能力的必要条件。

## 实验结果：令人失望但富有教育意义

### 模型性能对比

| 模型 | 训练集R² | 测试集R² |
|------|----------|----------|
| 神经网络 | ~0.33 | -1.42 |
| 随机森林 | 0.35 | 0.26 |

测试集上的负R²值意味着模型表现比简单预测平均值还要差。这是一个明显的过拟合信号。

### 为什么模型失败了？

作者进行了深入的分析，识别出几个关键问题：

**1. 特征信息不足**

在移除了高基数列后，只剩下4个核心特征。这些特征本身不足以捕捉薪资的巨大差异：
- 同样的"高级"经验级别，薪资可能相差数倍
- 同样的公司规模，不同行业、不同地区的薪资差异巨大
- 缺少关键的预测因子：具体职位、工作年限、公司声誉、地理位置等

**2. 薪资方差过大**

即使在相同的经验级别和公司规模下，薪资的分布也非常分散。这种高方差使得准确预测变得极其困难。

**3. 神经网络严重过拟合**

10,000轮训练对于这个小数据集来说太多了。神经网络记住了训练数据，但完全失去了泛化能力。这是一个经典的"训练时间过长+数据不足"问题。

**4. 随机森林表现相对更好**

测试集R²为0.26虽然仍然很差，但远好于神经网络的-1.42。这印证了机器学习中一个广为人知的经验：对于小规模的表格数据，树模型通常优于深度学习。

## 关键教训：数据质量胜过算法选择

这个项目的核心启示可以用一句话概括：**模型的上限由数据决定，而非算法。**

作者明确指出，如果要将R²提升到0.6以上，需要以下额外特征：
- 具体的职位名称（数据科学家 vs 机器学习工程师 vs 数据分析师）
- 精确的工作年限（而非粗略的级别）
- 城市/地区信息
- 公司名称（某些公司支付溢价）
- 行业领域

这个教训对于机器学习从业者至关重要：在投入大量时间调优模型之前，先问自己——我是否拥有足够好的特征来支持这个预测任务？

## 技术亮点：尽管结果不佳，代码质量值得肯定

尽管预测结果不理想，项目的代码实现展现了多个良好的实践：

### 自定义PyTorch数据集

作者实现了自定义的Dataset类，展示了如何正确封装数据加载逻辑。

### Batch Normalization的应用

在每一层后使用Batch Normalization有助于稳定训练过程。

### Huber Loss的选择

对于存在异常值的回归问题，Huber Loss比MSE更鲁棒，因为它对大误差的惩罚不那么极端。

### 梯度裁剪

设置max_norm=1.0防止了训练过程中的梯度爆炸问题。

### 完整的评估指标

使用R²作为回归任务的评估指标，并分别报告训练和测试性能，便于诊断过拟合。

## 对学习者的建议

这个项目为机器学习学习者提供了几个宝贵的启示：

**1. 从简单模型开始**

在尝试复杂的神经网络之前，先用随机森林或线性回归建立基线。如果简单模型表现不佳，复杂模型很可能也不会更好。

**2. 理解你的数据**

在建模之前，深入探索数据的分布、相关性和限制。问自己：这些特征真的能解释目标变量吗？

**3. 诚实面对结果**

负R²不是耻辱——假装模型很好才是。机器学习研究需要诚实记录失败，因为失败往往比成功更能教会我们东西。

**4. 特征工程是关键**

与其花费10小时调优神经网络，不如花10小时收集更好的特征。在大多数实际应用中，特征工程比模型选择对结果的影响更大。

## 结语：失败的价值

这个薪资预测项目可能不会出现在任何顶级会议的论文中，但它对机器学习社区的价值不容小觑。它提醒我们：

- 不是所有问题都适合用深度学习解决
- 数据质量是模型性能的根本限制
- 诚实地报告失败是科学进步的基础
- 简单方法往往是最好的起点

对于正在学习机器学习的人来说，研究这个项目比研究另一个"99%准确率"的图像分类教程更有教育意义——因为它展示了真实世界的复杂性，以及成为优秀机器学习从业者所需的批判性思维。