LLM Observatory：面向大语言模型的可观测性平台

本文介绍开源项目LLM Observatory，这是一个面向大语言模型的可观测性平台。项目从轻量级Go API连接Ollama起步，逐步演进为完整的AI应用可观测性栈，提供指标（Metrics）、日志（Logs）、追踪（Tracing）三位一体的监控能力，旨在解决生产环境中LLM工作负载的运维与监控需求。项目由ltcwr维护，源码托管于GitHub（链接：https://github.com/ltcwr/llm-observatory），发布于2026年6月4日。

大多数AI项目专注于构建应用本身，而LLM Observatory聚焦于LLM工作负载的理解、监控和运维。它填补了AI基础设施的重要空白：随着LLM在生产环境部署增多，运维人员需要了解模型响应延迟、不同模型性能成本对比、错误请求模式、Token消耗趋势等，但通用可观测性工具难以覆盖LLM独特指标（如Token数、生成延迟、提示复杂度）。该项目旨在为生产环境中的大语言模型提供完整可见性。

当前阶段：提供基于Gin框架的Go API，负责转发请求到本地Ollama实例，数据流为Client→Gin API→Ollama→模型（如Qwen）。 演进路线：

• 第一阶段（指标）：集成Prometheus，提供请求计数器、延迟指标、错误追踪、Token生成指标，搭配Grafana仪表板（含模型对比）及性能分析。
• 第二阶段（日志）：集成Loki，实现集中式日志收集与请求追踪标识符。
• 第三阶段（追踪）：支持OpenTelemetry，集成Tempo，实现端到端请求追踪。

长期部署愿景：Client→API Gateway→LLM Observatory→Ollama/vLLM→Models。 可观测性数据流向：Metrics→Prometheus；Logs→Loki；Traces→Tempo，最终统一展示于Grafana。 运维特性规划：Docker支持、Kubernetes部署、Helm Charts、水平扩展、多模型支持、成本估算、Token分析、模型健康监控、AI工作负载可观测性仪表板。

项目使用的核心技术栈包括：

• 语言：Go 1.22+
• Web框架：Gin
• 推理引擎：Ollama
• 监控工具：Prometheus + Grafana
• 日志工具：Loki
• 追踪工具：OpenTelemetry + Tempo
• 容器化：Docker + Kubernetes

运行LLM Observatory的步骤：

1. 启动Ollama并运行模型：ollama run 'your-model'
2. 启动Observatory服务：go run .
3. 服务将运行在http://localhost:8080，可通过POST /chat接口发送请求（如{"prompt": "What is Kubernetes?"}）获取响应。

与LangSmith、Langfuse等商业化LLM可观测性平台相比，LLM Observatory具有以下特点：

• 完全开源，用户可掌控数据；
• 深度集成开源生态（Ollama、Prometheus、Grafana等），降低采用门槛；
• 提供从开发到生产的可观测性演进路径，无需初期投入复杂商业方案。