Zing 论坛

正文

大模型推理任务分解与边缘协同计算:WiFi卸载网络中的智能调度新方案

本文介绍了一种面向资源受限无线设备的大模型推理任务分解与边缘协同框架,通过LLM规划器实现子任务难度预测和动态调度,在WiFi网络环境下实现延迟降低20%、整体收益提升80%的显著效果。

大模型推理边缘计算任务分解WiFi卸载智能调度LLM规划器端云协同
发布时间 2026/04/23 16:05最近活动 2026/04/24 11:54预计阅读 2 分钟
大模型推理任务分解与边缘协同计算:WiFi卸载网络中的智能调度新方案
1

章节 01

【导读】大模型推理任务分解与边缘协同计算新方案

本文提出面向资源受限无线设备的大模型推理任务分解与边缘协同框架,通过LLM规划器实现子任务难度预测和动态调度,在WiFi网络环境下实现延迟降低20%、整体收益提升80%的显著效果,为边缘场景大模型高效部署提供关键技术参考。

2

章节 02

背景与挑战:资源受限设备的大模型推理困境

随着大语言模型能力提升,AI下沉到移动终端成产业方向,但资源受限设备直接运行推理面临算力与能耗瓶颈。传统边缘计算的二元卸载策略难以适配大模型推理的异构能力、语义关联、输出长度不确定等特性;WiFi环境下信道竞争、多用户调度、任务语义相关性进一步增加卸载决策难度,需解决保证推理质量同时最小化端到端延迟的核心问题。

3

章节 03

核心问题:多模式执行下的智能卸载决策

本研究聚焦多用户、多边缘节点WiFi场景,推理任务可选三种执行模式:本地执行(低延迟但算力要求高)、完全卸载(依赖稳定无线连接)、分解协同(本地与边缘协同)。决策需考虑异构节点算力差异、无线链路动态变化、子任务依赖、通信开销,且输出长度难预估影响延迟预测准确性。

4

章节 04

技术方案:基于LLM规划器的用户-边缘协同框架

框架核心为LLM智能规划器,具备双重预测能力:子任务难度推断(分析输入复杂度预估计算量)、输出长度预测(基于语义上下文预测token数)。基于预测结果设计分解感知联合调度策略,将子任务分配、执行顺序、结果聚合整体优化,满足WiFi带宽竞争、边缘队列等待、节点算力可用等约束。

5

章节 05

实验验证:延迟降低20%,收益提升80%

仿真实验覆盖不同网络拓扑、用户分布、任务负载,对比纯本地执行和最近边缘卸载基线:框架在延迟-准确率权衡更优,平均延迟降低20%,整体收益提升80%;轻量化规划器通过知识蒸馏迁移大模型能力,保持性能同时适合边缘部署。

6

章节 06

启示与展望:AI for AI的边缘智能新思路

启示:大模型推理卸载应利用任务可分解性做细粒度优化,LLM可作为决策参与者(AI for AI)。未来方向:探索复杂网络拓扑扩展性、强化学习自适应在线调度、应用到更多生成式AI任务,随着边缘算力增长和通信技术演进,方案将发挥更重要作用。