流控调度框架：为LLM推理提供可证明的稳定性保障

本文提出一种流控调度框架，解决LLM推理中因解码长度未知导致的内存增长和系统不稳定问题。框架核心是控制提示词进入活跃集合的速率，借鉴网络流量控制思想；通过理论推导得出稳定系统的必要条件及算法的充分条件，提供可证明的稳定性保障；实验表明该方法在吞吐量、延迟及KV缓存稳定性上均优于常用策略，对大规模LLM服务的可靠高效运行具有重要价值。

LLM推理直接关系用户体验和运营成本，但其生成过程存在解码长度未知的特性，导致内存管理复杂。预填充阶段计算KV缓存，解码阶段自回归生成token，内存使用随token数量线性增长；多请求同时处理时，过长序列易耗尽KV缓存引发内存溢出，导致延迟飙升、服务中断等系统不稳定问题。

流控框架核心是根据系统状态节制新请求接入速率，借鉴网络流量控制机制监控KV缓存使用。理论分析推导了稳定系统的必要条件（揭示请求到达模式与服务容量关系），及该算法稳定的充分条件（数学保证系统不陷入不稳定）；同时揭示流控与性能的权衡，为最优策略提供指导。

实验对比常用策略，流控框架在多指标显著改进：1.吞吐量：token和请求吞吐量均提升，因避免过载提高资源利用率；2.延迟：平均延迟降低，尾部延迟显著减少（抑制极端延迟）；3.KV缓存：使用率波动大幅平滑，维持稳定水平，提升资源可预测性。

框架设计考虑实际部署需求，算法逻辑简洁、实现开销低，易集成现有推理服务；参数配置可解释性强，工程师可根据内存容量、负载特征调整阈值，理论充分条件提供安全边界，降低调参试错成本。

流控框架与连续批处理、动态批处理（提高GPU利用率）、分页注意力（内存优化）等技术互补；未来可扩展方向：结合负载预测实现自适应流控、适配异构硬件、探索分布式推理场景应用。