# LLM Logger：零API密钥的实时大模型推理监控工具 > 本文介绍LLM Logger，一个开源的全栈开发者工具，支持15+主流大语言模型的实时推理监控。无需配置API密钥，即可追踪延迟、Token用量、请求状态等关键指标，并提供可视化仪表板。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-06-10T14:41:51.000Z - 最近活动: 2026-06-10T14:54:29.662Z - 热度: 157.8 - 关键词: LLM监控, 开发者工具, React, MongoDB, 开源项目, AI网关, 实时日志 - 页面链接: https://www.zingnex.cn/forum/thread/llm-logger-api - Canonical: https://www.zingnex.cn/forum/thread/llm-logger-api - Markdown 来源: ingested_event --- ## 原作者与来源 - **原作者/维护者**: ay690 - **来源平台**: GitHub - **原始标题**: LLM Logger - **原始链接**: https://github.com/ay690/LOGGER_LLM_OLLIVE - **发布时间**: 2026年6月 ## 开发背景：LLM应用调试的痛点 随着大语言模型（LLM）在应用开发中的广泛采用，开发者面临着一个共同的挑战：如何有效监控和调试模型推理过程。传统的API调用方式虽然简单，但缺乏对请求全生命周期的可见性——你无法直观看到每次调用的延迟、Token消耗、模型响应质量，更难以追踪多轮对话的完整上下文。 现有的监控方案通常要求开发者自行搭建日志系统，或依赖昂贵的第三方APM服务。更糟糕的是，大多数方案需要你为每个模型提供商单独申请和管理API密钥，这不仅增加了配置复杂度，还带来了密钥泄露的安全风险。对于希望快速原型验证或教学演示的开发者来说，这些门槛往往令人望而却步。 LLM Logger正是为解决这些痛点而诞生的开源项目。它提供了一个即开即用的解决方案，让开发者能够在本地环境中实时监控LLM推理，无需任何API密钥配置，即可对接15+主流模型。 ## 核心功能概览 LLM Logger是一个全栈应用，集成了聊天界面、推理日志记录和可视化仪表板三大核心模块： **实时聊天界面** 项目提供了一个基于React的现代化聊天界面，支持流式响应展示。开发者可以与15+主流模型进行交互，包括OpenAI的GPT-4o系列、Anthropic的Claude系列、Google的Gemini系列、Meta的Llama 3.3、xAI的Grok、Mistral系列以及DeepSeek的R1和V3模型。所有模型均通过Puter.js的免费AI网关接入，这意味着你无需为每个模型提供商单独注册账号和申请API密钥。 **自动推理日志记录** 每次模型调用都会被自动捕获并持久化到MongoDB数据库中。记录的信息包括：请求延迟（从发送到首Token返回的时间）、提示词和补全的Token估算数量、请求状态（成功/失败/进行中）、输入输出的预览内容、以及唯一的请求ID用于追踪。所有日志支持分页浏览和按模型、状态、关键词筛选，便于开发者快速定位问题请求。 **可视化仪表板** 仪表板模块提供了丰富的实时指标聚合视图：整体成功率统计、平均延迟趋势、总Token消耗量、每分钟请求量的时间序列图表、以及各模型的使用分布饼图。这些指标帮助开发者直观了解应用与LLM交互的健康状况，及时发现性能瓶颈或异常模式。 **对话历史管理** 完整的对话历史被持久化存储，支持随时回顾、继续或删除任意对话。开发者可以查看特定对话中的所有消息交换，分析模型在多轮交互中的表现，或导出对话记录用于分享或进一步分析。 **PII数据脱敏** 考虑到日志中可能包含敏感信息，项目提供了可选的客户端PII（个人身份信息）脱敏功能。开启后，系统会在存储预览内容前自动识别并脱敏邮箱地址、电话号码、社保号码、银行卡号等敏感数据，降低数据泄露风险。 ## 技术架构解析 LLM Logger采用前后端分离的经典全栈架构，技术选型兼顾了开发效率和运行性能： **前端技术栈** - **React 19 + TypeScript 6**：采用最新版本的React框架，配合严格的TypeScript类型检查，确保代码质量和可维护性。 - **Vite 8**：作为构建工具，提供快速的开发服务器启动和热模块替换（HMR）体验。 - **Redux Toolkit 2**：用于全局状态管理，处理聊天消息流、日志列表、用户设置等复杂状态交互。 - **shadcn/ui + Radix UI + Tailwind CSS v4**：UI组件层采用shadcn/ui的设计系统，基于Radix UI的无障碍组件库，配合Tailwind CSS v4的原子化样式，打造现代化的用户界面。 - **Recharts 3**：用于仪表板的数据可视化，绘制时间序列图和分布图。 **后端技术栈** - **Node.js + Express 4**：后端采用成熟的Express框架，提供RESTful API服务。 - **MongoDB + Mongoose 8**：使用MongoDB作为持久化存储，通过Mongoose进行数据建模和查询，支持复杂的筛选和聚合操作。 - **Zod 3**：用于请求参数的验证和类型安全，确保API输入的合法性。 **AI网关集成** 项目的核心亮点是集成了Puter.js的AI网关服务。Puter是一个开源的桌面操作系统项目，其AI网关聚合了多个主流模型提供商的API，为开发者提供统一的调用接口。通过Puter.js SDK，LLM Logger实现了真正的零配置接入——首次使用时只需登录免费的Puter账号，即可开始使用所有支持的模型，无需信用卡、无需API密钥管理。 ## 快速上手指南 项目的部署过程设计得尽可能简单，适合快速搭建本地开发环境： **环境准备** 确保本地已安装Node.js 18+版本，并有一个可用的MongoDB实例（可以是本地安装的MongoDB Community Edition，或MongoDB Atlas的免费集群）。 **启动后端服务** 进入server目录，安装依赖并创建环境配置文件： ```bash cd server npm install ``` 创建`.env`文件，配置MongoDB连接字符串和服务端口： ``` MONGODB_URI=mongodb+srv://:@cluster.mongodb.net/?appName=Cluster0 PORT=3001 NODE_ENV=development ``` 启动开发服务器： ```bash npm run dev ``` 后端API将在`http://localhost:3001/api`可用。 **启动前端应用** 进入client目录，安装依赖并启动： ```bash cd client npm install npm run dev ``` 前端开发服务器将在`http://localhost:5173`运行。首次访问时，Puter.js会提示你登录或注册免费账号，之后即可开始与模型交互。 **生产环境部署** 项目提供了完整的构建脚本。运行`npm run build`可生成优化后的生产包，配合`npm start`命令即可部署到生产服务器。前端静态资源可以部署到任何支持静态站点的托管服务（如Vercel、Netlify），后端则需要Node.js运行环境。 ## API设计亮点 LLM Logger的后端API设计体现了RESTful最佳实践，提供了丰富的端点支持各种操作： **对话管理API**：支持创建对话、获取对话列表（包含消息数量统计）、获取单条对话详情（包含完整消息历史）、追加消息、更新对话状态（活跃/已取消/已完成）、删除对话等操作。 **日志管理API**：支持单条日志摄入和批量日志摄入（最多50条），提供分页日志列表查询（支持按模型、状态、关键词筛选），以及聚合统计接口（支持按时间范围过滤）。 **设置管理API**：支持获取和更新用户设置（模型选择、流式开关、PII脱敏开关），设置会自动持久化到MongoDB，页面刷新后依然保持。 所有API端点都经过精心设计，返回一致的数据格式，并包含适当的HTTP状态码和错误信息，便于前端集成和调试。 ## 使用场景与价值 LLM Logger适用于多种开发场景： **LLM应用原型开发**：在构建基于LLM的应用原型时，开发者可以快速对比不同模型的响应质量、延迟和成本特征，选择最适合业务场景的模型。 **Prompt工程优化**：通过查看完整的提示词和模型响应，开发者可以分析Prompt设计的效果，迭代优化以获得更好的输出质量。 **性能问题诊断**：当应用出现响应缓慢或Token消耗异常时，仪表板的时间序列图表和详细日志帮助快速定位问题根源。 **教学与演示**：对于LLM相关的教学场景，LLM Logger提供了一个开箱即用的演示环境，学生无需配置复杂的API密钥即可体验多种模型。 **多模型A/B测试**：项目支持在同一对话中切换不同模型，便于进行模型输出的对比测试，评估不同模型在特定任务上的表现差异。 ## 局限性与注意事项 项目文档也坦诚指出了当前版本的局限性： **Token估算非精确值**：由于Puter.js SDK目前不暴露实际的Token用量数据，项目采用字符数估算（约4字符=1 Token）的方式计算Token数量。这意味着显示的Token数仅供参考，可能与实际计费Token存在偏差。 **PII脱敏范围有限**：PII脱敏功能仅作用于存储的预览内容，完整的提示词和响应内容仍会发送给模型进行处理。开发者仍需注意不要在提示词中包含高度敏感信息。 **Provider扩展待完善**：虽然代码架构支持多Provider接入，但目前仅实现了Puter.js一种Provider。未来版本计划支持直接接入各模型提供商的原生API。 **流式取消行为依赖模型**：中途取消流式响应的功能使用浏览器的AbortController实现，但实际取消行为取决于底层模型的实现，部分模型可能仍会继续处理已发送的请求。 ## 结语 LLM Logger为LLM应用开发者提供了一个轻量级但功能完整的监控解决方案。它的零API密钥设计大大降低了试用门槛，让开发者能够专注于应用逻辑本身，而非繁琐的密钥管理。随着大语言模型生态的持续发展，这类开发者工具将成为LLM应用开发工具链的重要组成部分，帮助开发者构建更可靠、更高效的AI驱动应用。