TorusInfer：模块化大语言模型推理引擎的技术解析与实践

TorusInfer是开源模块化LLM推理引擎，采用C++核心实现，支持PagedAttention、连续批处理、前缀缓存、流水线并行等高级特性，兼容OpenAI API格式，为大规模语言模型部署提供高性能解决方案，解决推理性能与部署效率瓶颈。

在LLM应用蓬勃发展的今天，推理性能和部署效率成为制约模型落地的关键瓶颈。TorusInfer作为开源模块化推理引擎，旨在提供高性能、可扩展且易于部署的解决方案，支持从单卡到多卡的灵活部署模式，核心价值在于优化特性带来的吞吐量与延迟优势，同时降低迁移成本。

模块化层设计

• 易于扩展：新模型架构可快速集成
• 精细优化：每层独立调优适配硬件
• 调试友好：结构直观便于问题定位

PagedAttention内存管理

灵感源于虚拟内存分页，将KV缓存划分为固定块（默认16token），动态分配释放，提升内存利用率、支持动态批处理与更长上下文。

连续批处理

预填充阶段并行处理新请求提示词，解码阶段动态替换已完成请求，保持GPU高利用率，通过max_prefill_batch_size和max_decode_batch_size调优。

前缀缓存

自动识别共享前缀KV缓存，采用LRU淘汰策略，降低首token延迟，适用于对话系统与RAG应用。

流水线并行

将模型分层分布到多GPU，通过world_size、pipeline_rank等参数配置，支持水平扩展。

单Worker模式

适合显存充足场景，配置包括max_decode_batch_size、max_prefill_batch_size、total_cache_size等参数，启动流程为Worker服务+调度器服务。

多Worker模式

通过流水线并行支持大模型，每个Worker负责部分层，配置stage_start_layer和stage_end_layer定义层范围，启动流程为依次启动Worker+调度器。

使用Qwen2.5-7B-Instruct模型测试：

批大小影响

配置	吞吐量(req/s)	平均延迟(ms)	P95延迟(ms)
batch=1	0.05	150269	177685
batch=4	0.13	60712	78065
batch=8	0.13	54692	56917
batch=16	0.22	140990	146044

关键指标

• TTFT：首token生成时间
• TPOT：每输出token平均时间
• ITL：token间隔时间 示例：Sequence1 metrics: Latency=8819ms, ITL=152ms, TPOT=152ms, TTFT=975ms

API兼容性

实现/v1/chat/completions端点，请求与响应格式完全兼容OpenAI API，支持无缝迁移现有应用。

应用场景

• 对话系统：启用前缀缓存，批大小4-8平衡延迟与吞吐量
• 批量文本生成：增大批大小最大化吞吐量
• 大模型多卡部署：流水线并行分布模型，注意网络带宽要求

当前挑战：

• 长上下文KV缓存高效管理
• 异构硬件（AMD、Intel）优化支持
• 量化与压缩的精度性能权衡
• 投机解码技术集成

TorusInfer模块化架构为未来特性提供良好基础。

TorusInfer是功能全面的LLM推理引擎，通过核心技术实现高性能与兼容性，适用于单卡到多卡部署场景。建议自建LLM服务团队深入研究，利用其清晰架构与文档平滑迁移至生产环境。