Ollive AI SDE：LLM 推理日志记录与摄取系统

Ollive AI SDE 是一个轻量级、生产级的 LLM 推理日志系统，提供 Python SDK、FastAPI 摄取服务、SQLite/PostgreSQL 持久化和 Streamlit 聊天界面，支持 Groq、OpenAI 和 Anthropic 等主流 LLM 提供商。

• 原作者/维护者: adi-devv
• 来源平台: GitHub
• 原始标题: ollive-ai-sde — Lightweight inference logging and ingestion system for LLM applications
• 原始链接: https://github.com/adi-devv/ollive-ai-sde
• 发布时间: 2026年6月4日

---

随着大语言模型（LLM）在生产环境中的广泛应用，对推理过程的可观测性需求日益增长。开发者和运维团队需要了解：

• 模型接收了什么样的输入提示（prompt）
• 模型生成了什么样的响应
• 推理延迟和性能指标
• 成本和 token 使用情况
• 错误和异常情况

然而，现有的日志解决方案往往存在以下问题：

• 过于复杂，需要大量的基础设施投入
• 与特定的 LLM 提供商深度绑定
• 缺乏统一的日志格式和标准
• 难以进行实时分析和可视化

一个轻量级、提供商无关、易于部署的 LLM 推理日志系统成为迫切需求。

---

Ollive AI SDE 是一个轻量级、生产级的 LLM 推理日志记录与摄取系统。它采用模块化架构，提供从 SDK 到存储再到可视化的完整解决方案。

系统由以下核心组件构成：

┌─────────────────────────────────────────────────────────────┐
│                    Streamlit Chatbot                        │
│                   (或您自己的应用)                           │
│                                                             │
│  from llm_logger import LLMLogger                           │
│  client = LLMLogger(ingestion_url=...).wrap_openai(client)  │
│                                                             │
│         │                                                   │
│         │  Fire-and-forget HTTP POST                        │
│         ▼                                                   │
│  ┌─────────────────────────────────────────────────────┐   │
│  │              FastAPI Ingestion Service              │   │
│  │         (SQLite / PostgreSQL persistence)           │   │
│  └─────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────┘

1. Python SDK：轻量级包装器，支持 Groq、OpenAI 兼容提供商和 Anthropic
2. FastAPI 摄取服务：接收并持久化推理日志
3. 数据持久化：支持 SQLite 和 PostgreSQL
4. Streamlit 聊天界面：基于 Llama 3.3 70B（Groq API）的交互式界面

---

SDK 采用包装器模式，对现有 LLM 客户端进行透明包装：

from llm_logger import LLMLogger
import openai

# 包装现有客户端
logger = LLMLogger(ingestion_url="http://localhost:8000")
client = logger.wrap_openai(openai.Client())

# 正常使用，日志自动发送
response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Hello"}]
)

这种设计的优势：

• 零侵入性：无需修改现有代码
• 透明日志：自动捕获请求和响应
• 异步发送：fire-and-forget 模式，不影响推理性能
• 多提供商支持：统一接口支持不同 LLM 提供商

摄取服务提供 RESTful API 接收日志数据：

• 端点：POST /ingest
• 数据格式：标准化的 JSON 结构
• 批量支持：支持批量日志摄取
• 错误处理：优雅处理网络异常和存储故障