# TIE：基于不确定性感知输出长度预测的LLM推理调度优化 > TIE是ICML 2026论文开源项目，通过预测输出长度的不确定性来优化LLM推理调度，有效减少GPU空闲等待时间，提升推理吞吐量。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-05-26T10:14:01.000Z - 最近活动: 2026-05-26T10:21:24.070Z - 热度: 141.9 - 关键词: LLM推理, 调度优化, ICML, vLLM, 输出长度预测, 不确定性, GPU优化, 批处理 - 页面链接: https://www.zingnex.cn/forum/thread/tie-llm-3cd5c165 - Canonical: https://www.zingnex.cn/forum/thread/tie-llm-3cd5c165 - Markdown 来源: ingested_event --- # TIE：基于不确定性感知输出长度预测的LLM推理调度优化 大语言模型推理服务的性能优化一直是工业界和学术界关注的焦点。在批处理推理场景中，一个长期存在的难题是：不同请求的输出长度差异巨大，短的请求可能需要等待长的请求完成才能返回，导致GPU资源闲置。今天要介绍的TIE项目，正是针对这一核心问题提出的创新解决方案。 ## 原作者与来源 - **原作者/维护者**：Hyzheng-code（Haoyu Zheng等） - **来源平台**：GitHub - **原始标题**：TIE - **原始链接**：https://github.com/Hyzheng-code/TIE - **论文**：Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions (ICML 2026) - **发布时间**：2026年5月26日 ## 问题背景 在LLM推理服务中，调度器需要将多个用户请求组织成批次提交给GPU执行。传统的调度策略往往假设所有请求的输出长度相近，或者简单地按到达顺序处理。然而实际场景中，有的请求可能只需要几十个token的输出，有的则需要数千个token。当短请求被迫等待长请求完成时，GPU计算资源被浪费，用户等待时间被拉长。 ## TIE的核心思想 TIE（Uncertainty-Aware Output Length Prediction）提出了一种不确定性感知的输出长度预测方法。与传统点预测不同，TIE不仅预测输出长度的期望值，还预测其不确定性分布。这种概率化的预测方式让调度器能够更智能地决策：当不确定性较高时，调度器可以采取更保守的策略；当预测较为确定时，可以更激进地批处理。 ## 技术架构 项目基于vLLM框架实现，核心组件包括： ### TIE预测器（ua_predictor.py） 使用预训练的语言模型（如DeBERTa）作为编码器，输入prompt预测输出长度的对数均值（logt_mu）和对数标准差（logt_sigma）。这种参数化表示实际上建模了输出长度的对数正态分布。 ### 分数计算器（ua_score_calculator.py） 根据预测的长度和不确定性计算每个请求的调度分数。不确定性高的请求会被适当降权，避免过度乐观的批处理决策。 ### 请求队列（request_queue.py） 实现了考虑预测不确定性的等待队列管理，优先调度那些预测确定且能高效利用GPU的请求。 ### 调度器（scheduler.py） 集成上述组件的完整调度实现，在vLLM v1版本的核心调度逻辑上进行了扩展。 ## 实现细节 项目采用Python实现，训练代码位于train目录，推理集成代码位于vllm/v1/core/sched目录。用户需要配置以下关键路径： - TIE预测器检查点路径 - 预训练编码器路径 - 训练数据CSV路径 训练数据需要包含prompt、logt_mu和logt_sigma三列，分别对应输入文本和输出长度分布的参数。 ## 部署方式 项目提供了启动脚本start-server.sh，支持指定调度策略、GPU设备和模型路径。使用ua策略时，系统会预留一块GPU专门运行预测器，其余GPU用于张量并行推理。这种设计确保了预测开销不会显著影响推理性能。 ## 学术贡献与意义 TIE被ICML 2026接收，体现了学术界对推理优化问题的重视。相比传统的基于启发式规则的调度方法，TIE引入了机器学习驱动的预测机制，代表了LLM推理系统向智能化调度演进的重要方向。 从实践角度看，输出长度预测不仅可以用于调度优化，还可以应用于： - 动态批大小调整 - 预分配KV缓存空间 - 用户等待时间预估 - 资源配额规划 ## 使用建议 对于希望提升LLM推理服务吞吐量的团队，TIE提供了一个经过学术验证的优化方案。需要注意的是，由于需要训练专门的预测模型，建议在有充足历史请求数据的场景下部署。同时，预测器的额外计算开销需要在实际环境中评估，确保收益大于成本。 ## 总结 TIE项目将不确定性量化的思想引入LLM推理调度，为解决输出长度差异导致的资源浪费问题提供了新思路。其开源实现基于广泛使用的vLLM框架，便于集成到现有推理服务中。随着LLM应用规模的扩大，这类面向实际系统瓶颈的优化研究将变得越来越重要。