Spark-Stack：为 NVIDIA DGX Spark 打造的本地 LLM 推理监控仪表板

Spark-Stack 是一款开源监控工具，专为 NVIDIA DGX Spark 本地大语言模型推理场景设计。它融合系统指标、vLLM 推理可观测性与持久化 Token 追踪，采用"以历史为先"的理念，提供类似 WakaTime 的长期活动追踪体验，填补了 DGX Spark 生态中专用监控方案的空白。项目由 Sahil Kapoor（@kapoorsahil）开发维护，代码托管于 GitHub（链接：https://github.com/kapoorsahil/spark-stack），发布于 2025 年 5 月。

市面上多数监控工具仅关注实时指标，而 Spark-Stack 针对 DGX Spark 生态缺乏专用监控方案的问题，将系统级监控与 LLM 推理特有的可观测性指标无缝整合，帮助开发者清晰了解模型使用模式、资源消耗趋势及推理性能演变。

Spark-Stack 包含三大核心功能：

1. 系统指标监控：覆盖 GPU 状态（利用率、温度、功耗等）、CPU 每核心负载、统一内存使用、系统健康指标；
2. vLLM 推理可观测性：KV Cache 分析、请求追踪（Token 数量、延迟）、批次处理监控、吞吐量统计；
3. 持久化 Token 追踪：每日/每周/每月 Token 消耗总量、模型/端点使用分布、高峰时段识别、成本估算。

Spark-Stack 采用轻量级架构，主要组件包括：

• 数据采集层：通过 NVIDIA NVML 库和 vLLM Prometheus 指标端点获取数据；
• 存储层：本地 SQLite 或可选 PostgreSQL 存储时间序列数据；
• 展示层：响应式 Web 仪表板，支持桌面和移动设备；
• 配置系统：灵活的 JSON 文件，支持自定义监控阈值和告警规则。 部署简洁，提供 systemd 服务文件实现开机自启，附带一键安装脚本，DGX Spark 用户可在数分钟内完成设置。

Spark-Stack 适用于多种场景：

1. 个人开发者：追踪 Token 消耗、GPU 利用率、推理延迟及优化空间；
2. 小型团队：公平追踪资源分配、识别扩容优化时段、建立性能基准；
3. 模型调优：比较量化策略影响、验证 KV Cache 管理有效性、确定最优并发请求配置。

Spark-Stack 设计时考虑兼容性：

• 原生支持 vLLM 指标输出格式；
• 可选 Prometheus 远程写入集成，便于接入现有监控栈；
• 提供官方 Grafana 仪表板模板；
• 自动利用 NVIDIA DCGM 获取更精细 GPU 指标（若可用）。

Spark-Stack 采用 MIT 许可证开源，代码托管于 GitHub。项目结构清晰，包含完整文档、示例配置文件和自动化测试，社区贡献者可轻松扩展新数据源或自定义可视化组件。它填补了 DGX Spark 用户社区的监控工具空白，有望成为平台标配工具之一。

Spark-Stack 代表本地 AI 开发工具向专业化、精细化方向发展的趋势。它不仅是监控仪表板，更是帮助开发者建立对本地 LLM 推理工作流深度认知的工具。建议认真对待本地模型推理的开发者尝试，其简洁部署、直观界面和深度指标覆盖使其成为 DGX Spark 生态不可或缺的组成部分。