vLLM推理可观测性控制台：三层架构实现实时Telemetry与可视化分析

本开源项目基于React+Node+FastAPI三层架构，为vLLM推理服务提供实时监控仪表板，支持并发SSE流式传输、调度器状态监控、KV缓存指标追踪及批量分析功能，解决传统命令行监控的不足，提升系统可观测性与维护性。

在LLM推理生产环境中，可观测性是系统稳定与性能优化的关键。vLLM广泛应用后，开发者需实时监控Token延迟、调度器状态等指标，传统命令行方式难以满足直观交互需求。本项目是Streamlit版本vLLM监控仪表板的现代化重构，通过三层架构提升用户体验与系统扩展性。

项目采用三层分离架构：1. React前端（基于Vite）：提供状态面板、模型切换、SSE实时Token流展示、可视化图表及CSV导出等功能；2. Node/Express BFF层：处理CORS、隐藏GPU地址、流式代理、连接管理，为扩展提供支持；3. FastAPI+vLLM推理层：支持真实（GPU运行）和Mock（无GPU开发）两种模式，API一致便于切换。

核心功能包括：并发SSE流式传输（同时三个请求模拟多用户场景）、调度器状态监控（活跃请求数、KV缓存状态等）、批量分析（TTFT/ITL/吞吐量等指标可视化）；内置三个测试用例（短/中/长提示场景），支持独立或组合运行及模型A/B对比。

提供一键启动脚本（支持macOS/Linux/Windows），手动启动需依次运行推理服务器、BFF服务、前端服务；技术亮点包括微秒级时间戳精度处理、可取消请求机制、实验室风格深色主题UI设计。

已就绪基础设施的模型对比功能待实现；潜在扩展方向：用户认证与访问控制、多GPU集群监控、Prometheus/Grafana集成、自定义测试用例导入。

本项目展示了从原型工具到生产就绪系统的演进，三层架构解决了原始实现的技术限制（如CORS、地址暴露），为系统长期演进奠定基础。对LLM推理服务团队而言，提供了完整可观测性解决方案参考，其架构设计与工程实践值得借鉴。