SLICE：面向边缘计算的SLO驱动LLM推理调度框架

SLICE是专为边缘计算场景设计的LLM推理调度框架，核心目标是解决边缘资源受限环境下延迟敏感型（如实时对话）与吞吐量优先型（如批量文档处理）任务的差异化服务等级目标（SLO）需求。框架以SLO为调度决策核心，通过动态资源分配、边缘场景适配等策略优化资源利用率与服务质量。

随着LLM向边缘设备部署，推理调度面临三大挑战：1.边缘环境资源受限；2.需同时服务两类请求——延迟敏感型（要求低延迟响应）与吞吐量优先型（追求高吞吐）；3.传统一刀切调度策略难以满足差异化需求。

差异化SLO支持

允许为不同请求设置多维度SLO指标：延迟SLO（如p99延迟≤500ms）、吞吐SLO（如每秒处理100请求）、资源SLO（如显存占用≤8GB）。

动态资源分配

通过优先级队列（按SLO紧急程度分级）、抢占机制（高优先级抢占低优先级资源）、批处理优化（提升GPU利用率）调整资源分配。

SLICE框架包含四大关键组件：

1. SLO解析器：将用户SLO转化为内部约束，支持绝对阈值、百分比等表达方式；
2. 资源监控器：实时监控GPU显存、计算单元利用率、请求队列长度、历史延迟分布；
3. 调度决策引擎：基于状态与SLO约束，决定请求执行顺序、批处理大小、资源分配及模型优化策略（如量化、KV缓存压缩）；
4. 反馈控制器：根据执行结果闭环调整策略，预警SLO违反风险。

边缘场景适配

• 异构硬件支持：通过抽象层适配NVIDIA Jetson、ARM架构等设备；
• 功耗感知调度：平衡性能与功耗；
• 网络波动适应：支持本地缓存与离线推理应对网络中断。

应用场景

适用于智能零售（实时咨询+销售报告生成）、工业质检（实时缺陷检测+批量数据分析）、智能交通（实时事件识别+流量统计）等场景。

与传统方案对比

特性	传统方案	SLICE
SLO感知	有限或无	核心设计
差异化服务	简单优先级	多维度SLO
边缘适配	需要改造	原生支持
动态调整	静态配置	实时反馈控制

实践意义

SLICE为边缘AI部署提供调度基础设施，可结合KV缓存压缩、模型量化等技术提升效能，为资源受限环境下生产级LLM服务部署提供参考。