BatchBench：面向大数据批处理自动扩缩容策略的工作负载感知基准框架

BatchBench是一个开放的自动扩缩容基准框架，旨在解决当前大数据批处理自动扩缩容领域评估碎片化的问题。它通过工作负载分类、参数化生成器、五轴评估体系和标准化智能体接口，为规则型、学习型和大模型智能体型扩缩容策略提供公平的实验对比平台，推动领域建立共同的衡量标准。

自动扩缩容已成为云原生大数据处理的基线能力，但评估实践陷入碎片化。现有研究使用不同基准（合成查询、专有基线、特定领域轨迹），对比条件（基线、工作负载、成本模型）各异，跨论文比较几乎不可能。这导致研究者无法判断新方法优劣，实践者难以选型，领域缺乏共同语言和标准。

BatchBench的核心目标是为三类自动扩缩容策略（规则型、学习型、大模型智能体型）提供平等实验对比平台。其关键原则包括：平等footing（中立环境，不预设方法优劣）、工作负载感知（通过分类和参数化生成覆盖真实场景多样性，避免单一负载过度优化）。

BatchBench的核心贡献之一是六类批处理工作负载分类体系（ETL、分析查询、机器学习训练、图计算、流式微批处理、混合工作负载），基于已发表基准和公开集群轨迹分析。另一贡献是参数化生成器，允许调整作业到达模式、规模分布、资源需求等参数生成多样负载，并通过KS检验和推土机距离验证与真实轨迹分布相似性。

BatchBench提出五轴评估体系，全面衡量策略性能：成本轴（计算/存储/网络成本，含LLM推理成本）、SLA达成轴（作业完成时间/延迟/成功率）、扩缩容响应性轴（扩容/缩容延迟、决策频率）、扩缩容震荡轴（频繁切换、资源波动）、决策可解释性轴（透明度、日志丰富度）。

BatchBench提供标准化智能体接口，统一规则型、学习型、大模型智能体的评估API。接口定义状态观测格式（集群/作业/历史指标）、动作空间（扩缩容/保持）、奖励信号（成本/SLA/综合效用）和交互协议，降低新方法集成门槛，提升可复现性。

BatchBench目前处于框架设计阶段，参考实现正在开发并计划开源。未来将扩展工作负载分类（实时推理、联邦学习）、集成更多真实轨迹、开发自动化调优工具、建立leaderboard。呼吁社区参与，共同完善框架。

BatchBench为领域提供亟需的开放基准框架，有望结束评估碎片化。对研究的启示包括：强调公平评估的重要性、关注工作负载多样性以提升鲁棒性、倡导开放协作的研究文化。框架将推动自动扩缩容研究向成熟实用方向发展。