基于排队论的LLM推理稳定性分析框架：解决GPU内存与计算双重约束

本文提出首个同时纳入计算资源与KV缓存内存约束的排队论框架，为LLM推理服务的GPU集群配置提供理论指导，解决系统稳定性与容量规划问题。该框架能精确判断负载下系统是否稳定，帮助运维人员平衡成本与服务质量。

LLM推理受计算能力与KV缓存内存双重约束，KV缓存随序列长度和并发请求增长成为瓶颈。传统方法将计算与内存独立处理，缺乏统一框架指导系统设计，导致过度配置浪费成本或配置不足降低服务质量。现有工作少从稳定性角度分析系统能否持续承载负载（队列是否有界）。

本研究提出首个同时考虑计算与GPU内存约束的排队论框架，核心创新是建立稳定性条件，综合请求到达率、服务速率、KV缓存内存占用、GPU内存容量等因素，推导出维持稳定的最小服务速率及集群规模配置公式。该框架为GPU集群容量规划提供科学依据，避免经验试错。

真实GPU环境实验显示，理论稳定性条件与实际观测偏差≤10%，验证框架有效性。实验涵盖不同负载场景与模型配置，即使请求到达率波动大，仍能准确预测系统行为边界，证明框架工程实用性。

框架需准确估计请求到达率统计特性（平均与波动性）、服务时间分布（受模型大小、序列长度、硬件影响）、KV缓存动态管理策略。部署建议结合历史监控数据校准参数，考虑负载时变性，动态调整集群规模或自适应调度。

本研究为LLM推理基础设施科学化管理奠定理论基础，框架适用于当前Transformer架构且可推广至未来架构。未来可探索多租户资源隔离、异构GPU调度优化、与自动扩缩容集成。该工具帮助云服务商与企业平衡成本与服务质量。