Ollive Inference Chatbot：带推理日志记录的LLM聊天系统

Ollive是一个全栈LLM聊天机器人，包含轻量级推理日志SDK、近实时摄取API和PostgreSQL存储。支持多提供商（Gemini、OpenAI、Anthropic）、流式响应和实时指标仪表板。

• 原作者/维护者: Nightstorm26
• 来源平台: GitHub
• 原始标题: ChatBot (Ollive Inference Chatbot)
• 原始链接: https://github.com/Nightstorm26/ChatBot
• 发布时间: 2026年5月23日

Ollive Inference Chatbot是一个全栈LLM聊天应用，包含三个核心组件：轻量级推理日志SDK、近实时摄取API，以及用于存储消息和推理元数据的PostgreSQL数据库。

该项目解决了LLM应用中的一个关键需求：如何可靠地记录和监控推理调用，同时保持低延迟和良好的开发者体验。

系统维护对话历史（最近20条消息），并将其发送给模型。这是通过简单的消息列表实现的，而非复杂的token感知上下文管理。

• Google Gemini（默认）
• OpenAI
• Anthropic

用户可以在对话中切换不同的提供商和模型。

使用SSE（Server-Sent Events）实现token-by-token的流式响应，提供更好的用户体验。

实时24小时面板显示：

• 延迟统计
• 吞吐量
• 错误分布
• 各提供商统计

日志预览中对敏感信息进行脱敏处理：

• 邮箱地址
• 电话号码
• SSN
• 银行卡号
• API密钥