C++17构建的高性能分布式LLM推理网关

本文介绍一个基于C++17构建的高性能分布式LLM推理网关，旨在解决LLM部署中的高并发请求处理与流式生成故障转移等挑战。该网关采用gRPC实现流传输，通过SWIM协议完成去中心化成员管理与故障检测，支持加权最小连接负载均衡及中流故障转移，为生产级LLM推理服务提供轻量且功能完整的基础框架。

随着LLM在各类应用中的广泛部署，传统单体部署难以应对高并发请求，简单负载均衡无法处理流式生成过程中的故障转移。分布式LLM推理网关项目针对这些挑战，提供负载均衡、容错能力及token流式传输支持，确保用户实时生成体验。

系统采用双层通信模型：第一层为gRPC over TCP，用于客户端与网关、网关与副本间的推理流量传输，利用gRPC服务器端流式传输能力降低延迟；第二层基于UDP的SWIM gossip协议，实现副本间点对点故障检测与成员管理，无需集中式健康监控器，通过间接探测、怀疑机制等确保高效故障检测。架构中，客户端通过gRPC流连接网关，网关包含负载均衡器、请求队列及成员管理订阅者，副本间通过UDP gossip同步状态。

网关实现多项关键功能：1.加权最小连接负载均衡，基于gossip传播的负载元数据将请求路由至负载最轻实例；2.token流式传输，实时转发副本生成的token至客户端；3.中流故障转移，副本宕机时透明重新路由请求，用户无感知；4.背压机制，通过FIFO队列与每副本并发限制防止系统过载；5.滚动更新，优雅排空副本后重启新版本，零请求丢失。

项目选用C++17追求极致性能，gRPC与Protobuf用于RPC通信，gossip传输采用原始UDP套接字配合Protobuf编码。构建系统使用CMake与Makefile，文档通过Doxygen生成。LLM后端为模拟实现，接收提示词后按配置延迟返回token，便于测试演示且预留真实LLM引擎接口。

该网关适用于高可用LLM服务场景，如聊天机器人、代码补全工具、实时写作助手等需处理大量并发流式请求的应用。对运维团队而言，去中心化故障检测消除单点故障，加权负载均衡与背压机制优化资源利用，避免副本过载或空闲。

分布式LLM推理网关结合gRPC高效传输、SWIM协议去中心化协调及精心设计的负载均衡策略，解决现代AI基础设施挑战，为生产级LLM推理服务提供轻量级完整框架。对自建LLM推理基础设施的团队，是值得研究借鉴的开源项目。