InferGuard：大模型推理服务的只读诊断与可观测性工具

InferGuard是专为分布式大模型推理服务设计的诊断工具，支持vLLM、SGLang、Dynamo和llm-d等主流推理引擎，提供只读方式的可观测性与故障排查能力，解决分布式推理运维中的复杂挑战。

随着大模型规模扩大，分布式推理成为主流，但带来复杂运维问题：数十至数百GPU节点的服务难以快速定位问题；传统监控工具指标粗粒度，无法深入引擎内部；诊断工具若设计不当易干扰服务，只读诊断方式至关重要。

InferGuard由Touchdown Labs开发，是开源项目，专注分布式大模型推理服务的只读诊断能力。设计哲学强调安全与可观测性平衡：所有操作只读，不修改系统状态；支持与Prometheus、Grafana等现有监控栈集成，输出标准化指标或详细报告。

InferGuard支持四种主流引擎：

• vLLM：监控KV缓存利用率、调度队列长度、批处理效率等；
• SGLang：追踪语法约束编译状态、生成延迟分布、结构化输出正确性；
• Dynamo：分析批处理策略效果、请求优先级调度、GPU资源利用率；
• llm-d：提供插件系统、后端切换状态、跨后端性能对比的可见性。

核心功能包括：

1. 多层次指标收集：系统层（GPU利用率、显存、PCIe带宽）、引擎层（请求队列深度、批处理大小、缓存命中率）、应用层（端到端延迟、Token生成速率、首Token时间）；
2. 关联分析：跨节点/引擎指标关联，帮助识别性能瓶颈根因（如节点延迟异常时分析资源竞争、网络状况等）。

使用InferGuard的最佳实践：

• 非高峰时段进行深度诊断，避免影响服务性能；
• 配置适当权限，仅访问必要指标端点；
• 诊断数据与日志分离存储，避免成为攻击目标；
• 定期审查访问日志，确保授权人员查看敏感信息。

InferGuard填补了分布式大模型推理生态中安全非侵入式诊断的空白，满足企业生产级推理服务的运维需求。其推动了"可观测性内建于推理服务"的运维理念，助力构建可靠、可维护的AI基础设施，支撑大规模LLM部署。