AeroScrape：从零构建完整的航班延误预测 MLOps 流水线

AeroScrape 是一个端到端的 MLOps 项目，演示了如何构建从数据抓取、存储、模型训练到 API 部署的完整机器学习流水线，使用 Apache Airflow 进行编排，MLflow 进行模型管理。

• 原作者/维护者： Amin Rezaeeyan
• 来源平台： GitHub
• 原始标题： AeroScrape
• 原始链接： https://github.com/AminRezaeeyan/AeroScrape
• 发布时间： 2026年6月3日

---

航班延误是航空业长期存在的痛点，不仅影响旅客体验，也给航空公司带来巨大经济损失。传统的延误预测往往依赖简单的统计规则，难以捕捉复杂的时序模式和多重因素之间的交互关系。AeroScrape 项目应运而生，它展示了一个完整的 MLOps 实践案例——从原始数据获取到生产级 API 部署的全链路自动化。

这个项目的价值不仅在于其技术实现，更在于它为中小型团队提供了一个可复制的机器学习工程模板。对于希望将实验性模型转化为可靠服务的开发者来说，AeroScrape 的架构设计和工程实践都具有参考意义。

---

AeroScrape 采用模块化微服务架构，各组件职责清晰分离：

• 数据源： 从 fids.airport.ir 抓取实时航班起降数据
• 存储： PostgreSQL 数据库持久化存储原始和处理后的航班信息
• 数据验证： 使用 Pandera 进行原始数据质量校验

项目使用 Apache Airflow 编排完整的 ML 工作流，DAG 包含以下阶段：

1. 数据验证 —— 使用 Pandera 确保输入数据符合预期模式
2. 数据清洗与特征工程 —— 提取时间段、季节、节假日等衍生特征
3. 数据预处理 —— 数据集划分、标准化、One-Hot 编码
4. 超参数调优 —— 使用 Optuna 对 LightGBM（回归）和逻辑回归（分类）模型进行自动调参
5. 模型训练与评估 —— 训练优化后的模型并计算性能指标
6. 模型注册 —— 将最佳模型版本注册到 MLflow Model Registry
7. 清理 —— 移除中间数据，保持环境整洁

MLflow 承担实验跟踪和模型版本管理的核心职责：

• 自动记录每次训练的参数、指标和产物
• 通过 Model Registry 实现模型版本控制和生命周期管理
• 支持别名机制（如 "production"），便于生产环境切换模型版本

FastAPI 构建的 RESTful API 提供实时预测能力：

• 从 MLflow Model Registry 动态加载注册的最佳模型
• 支持热重载（hot-reload）机制，无需重启服务即可切换模型
• 提供健康检查端点用于监控

---