LLM可观测性平台：生产环境AI系统的全链路监控解决方案

本文介绍GitHub上pankaj45维护的llm-observability项目，这是一个面向生产环境的全栈AI可观测性平台。它通过事件驱动架构、PII脱敏、上下文编排和实时分析仪表板，解决传统监控工具在LLM应用中的不足，提供完整的监控、日志和分析能力。

随着LLM应用从原型走向生产，传统软件监控工具难以应对三大核心挑战：

1. 可观测性盲区：模型推理内部状态难追踪，缺乏token级延迟和错误率指标；
2. 数据隐私风险：用户输入含PII直接记录会导致合规问题；
3. 上下文管理复杂：多轮对话状态连续性难以捕捉，传统无状态API监控无效。

llm-observability采用微服务架构、事件驱动通信和分层数据存储：

• 核心服务：推理网关（处理请求、PII脱敏、上下文编排）、摄取工作器（消费Kafka事件写入ClickHouse）、分析查询服务（为仪表板提供查询）、Next.js前端（聊天UI和分析仪表板）；
• 分层存储：PostgreSQL（OLTP层存储核心实体）、ClickHouse（分析层支持高效聚合）、Redis（协调层短期状态缓存）。

PII脱敏：通过PiiRedactionPort接口用正则扫描消息，替换PII为占位符（如[EMAIL]），脱敏时机在持久化前，模型不会收到原始PII，支持6类PII（邮箱、电话、信用卡等）； 上下文编排：自动注入运行时上下文（日期、时间），ToolNeedRouter触发后端工具（如CoinGecko、Tavily搜索），PostgreSQL管理对话状态确保完整性。

SSE流式架构：用Server-Sent Events实现实时推送，定义多类事件（request.accepted、token.delta、tool状态等）展示推理进度； 分析仪表板：基于Grafana展示关键指标：延迟（P50/P95/P99）、吞吐量（每秒请求、token速率）、错误率、成本估算，数据来自ClickHouse。

部署：本地用Docker Compose一键启动（Makefile封装dev-ready/dev等命令），生产支持Kubernetes部署； 日志策略：不记录原始内容，仅记录元数据（哈希、token数、延迟等），工具调用仅记元数据，结构化JSON日志，支持OpenTelemetry追踪。

该项目的核心启示：

1. 可观测性需端到端设计；
2. 隐私保护是架构级特性；
3. 事件驱动实现服务解耦；
4. 分层存储优化成本。 对LLM应用团队而言，它既是可部署的解决方案，也是架构设计参考文档，值得研究借鉴。