SCALE：面向智能体工作流调度的跨注意力外推学习框架

SCALE框架核心要点

• 目标：解决深度强化学习（DRL）调度器的"规模锁定"瓶颈，实现智能体工作流调度的零样本集群规模泛化
• 核心技术：跨注意力指针网络（天然支持任意服务器数量）+ 结构化表征正则化（SRR，解决分布偏移）
• 关键成果：16节点训练后直接部署到48节点集群，平均响应时间降低8.9%
• 应用场景：云计算动态扩缩容、边缘计算异构部署等弹性环境

原文来源：arXiv 2606.06820v1（2026年6月5日发布）

智能体工作流调度的挑战

随着LLM向Agent形态演进，复杂任务被分解为工作流DAG已成为主流。但现有DRL调度器存在根本性瓶颈：

• 规模锁定：固定集群规模训练，服务器数量变化需重新训练
• 实际代价：云计算动态扩缩容、边缘设备数量变化时，资源利用率低、响应延迟增加

这种"规模锁定"特性在弹性计算环境中难以适应业务需求变化

跨注意力指针网络的规模无关性

• 任务特征作为Query，服务器特征作为Key-Value，天然支持任意数量服务器
• 置换不变性：无需修改架构即可处理16/48节点等不同规模
• 指针网络设计：直接输出服务器索引，避免固定维度softmax限制

结构化表征正则化（SRR）

针对规模变化导致的分布偏移问题，SRR采用双重约束：

1. 去相关损失：强制特征维度低相关，防止过度集中
2. KL散度惩罚：拉特征分布向标准正态，保证统计稳定性

SRR是关闭规模泛化差距的关键（无SRR架构性能显著下降）

实验设置

• 训练环境：16节点集群
• 测试环境：32节点、48节点集群（无微调）

关键结果

• 在48节点集群上，完整版SCALE比无SRR基线架构平均响应时间降低8.9%
• 验证了零样本泛化能力：无需重新训练即可适应新集群规模

实验证明显式正则化对规模泛化的必要性

对智能体基础设施的意义

打破DRL调度器与固定集群规模的绑定，为弹性计算环境提供可行路径

行业启示

• 云原生智能体：支持按需扩缩容的工作流调度
• 边缘部署：适应异构设备动态加入/退出
• 训练成本优化：单次训练服务多种规模场景

方法论价值

架构设计（置换不变性）与训练目标（分布正则化）需协同考虑，仅靠架构不足以保证泛化

当前局限

验证集中在同质工作流场景

未来方向

1. 异构工作负载下的规模泛化
2. 动态节点故障场景的鲁棒性
3. 与抢占式调度等策略的结合
4. SRR超参数在不同任务域的迁移性研究

SCALE为弹性智能体基础设施奠定基础，值得工程师和研究者关注