E2LLM：面向异构边缘/雾环境的LLM高效推理框架

E2LLM是面向异构边缘/雾环境的LLM高效推理框架，其核心策略为模型复制与角色分离，结合遗传算法和动态规划优化资源分配，在资源受限设备上实现高效推理，相比基线可减少50%以上等待时间。

大型语言模型（LLM）在边缘/雾环境部署面临三大挑战：

• 资源异构性：设备计算、内存差异大
• 网络拓扑复杂：通信带宽和延迟不稳定
• 动态负载：请求量和输入输出长度变化剧烈 传统单一设备部署假设不成立，如何高效分布式部署成为关键问题。

E2LLM的核心设计包括：

双副本架构

将完整模型复制到多个设备组（副本），每个副本赋予专业化角色：

• PREFILL角色：处理输入token预填充（计算密集）
• DECODER角色：处理输出token解码（内存密集）

智能集群组织

采用遗传算法进行设备聚类，最大化系统整体性能

动态分区策略

用动态规划确定集群内最优模型分区，最小化执行瓶颈 这些策略利用推理阶段特性差异，优化资源利用。

实验结果显示：

• E2LLM能适应输入输出token长度变化的工作负载
• 高压下与Splitwise基线相比，平均等待时间减少50%以上 性能提升原因：

1. 专业化分工提升效率
2. 遗传算法和动态规划实现负载均衡
3. 精细分区减少设备间等待与同步开销

技术启示与应用前景：

1. 专业化分工：资源受限环境下，从统一处理转向专业化分工可提升性能
2. 算法与系统协同：遗传算法、动态规划与系统架构深度融合应对异构复杂性
3. 边缘智能可行性：证明边缘环境可高效部署LLM，为边缘AI应用铺路

E2LLM通过模型复制与角色分离架构，结合遗传算法和动态规划优化，解决了异构边缘/雾环境中LLM部署的核心挑战，实现50%以上等待时间减少，标志着边缘LLM推理效率的重大突破，为资源受限场景AI部署提供可行路径。