基于Spark的植物病害图像分类：分布式机器学习在农业检测中的应用

本项目标题为《基于Spark的植物病害图像分类：分布式机器学习在农业检测中的应用》，由dessiejohnson在GitHub发布（项目链接：https://github.com/dessiejohnson/Spark-232-Diseased-Plants，发布时间2026年6月2日）。核心目标是利用Apache Spark分布式计算框架处理19.47GB的大规模植物图像数据集（含52134张图片、62个类别、17种植物），实现健康/病害二分类和植物种类多分类任务，为农业病害检测提供可扩展的技术方案。

全球气候变化加剧导致农作物病害传播加快，传统人工巡检效率低且难以覆盖大规模农田。机器学习在图像识别领域的成功为农业智能化提供方向，但本项目面临19.47GB大规模数据集的处理挑战，单机处理低效且难以扩展，因此选择Apache Spark分布式框架。

数据集包含52134张图像，覆盖17种植物的62个类别（健康及各类病害）。图像尺寸差异大（最大达4740×6000像素）需标准化；存在严重类别不平衡问题：番茄黄化曲叶病毒类占主导，辣椒等类别欠采样，可能影响模型公平性。

技术架构：选择Spark因它支持分布式存储与并行计算、容错机制、缩短执行时间、集成MLlib构建端到端ML工作流。数据加载用Spark DataFrame API的binaryFile格式递归读取，从文件路径提取类别标签、植物种类等元数据。预处理：1. 标签构建：二分类（健康/病害）通过正则匹配关键词归并，多分类（植物种类）用plant列；2. 分层随机采样解决类别不平衡；3. 图像归一化到224×224像素。

项目设计两个模型：1. 二分类模型：区分健康与病害植物，满足农业基础需求；2. 多分类模型：识别植物种类，支持精准农业管理。两模型共享预处理流程，采用训练-验证-测试划分确保评估可靠性。

本项目验证了深度学习+分布式计算在农业图像分析的有效性，展示了大规模图像数据的处理实践及类别不平衡解决方法。应用前景包括部署到边缘设备或云端实现农田自动化病害监测，为应对气候变化下的粮食安全挑战提供技术支持。