llm_client：基于Gemini的OpenAI兼容API桥接方案

llm_client是一个开源的HTTP桥接服务，它通过Google Gemini SDK提供免费的AI推理能力，同时暴露与OpenAI完全兼容的API接口。这使得任何支持OpenAI协议的应用框架无需修改代码即可接入Gemini模型，并支持工具调用、密钥轮询和速率限制等生产级特性。

在当前的AI应用开发中，OpenAI的API协议已经成为事实上的行业标准。大量开源框架和工具——从OpenClaw、PicoClaw到AutoGPT——都是基于OpenAI的API格式设计的。然而，这种依赖性也带来了几个实际问题：

首先，OpenAI的API调用是有成本的，对于个人开发者、小型团队或实验性项目来说，持续的API费用可能成为负担。其次，不同地区的网络访问限制可能影响服务的可用性。最后，某些应用场景可能需要使用特定的模型，而这些模型可能并非由OpenAI提供。

llm_client项目正是为解决这些问题而生。它提供了一个巧妙的桥接方案：在保持与OpenAI API完全兼容的同时，将实际的推理请求转发到Google的Gemini服务——后者在一定配额内提供免费使用。

llm_client的核心架构可以概括为「透明桥接」——对上游应用而言，它表现得完全像一个OpenAI API端点；对下游服务而言，它则是一个标准的Gemini SDK客户端。

项目暴露了一个关键的HTTP端点：/v1/chat/completions。这个端点的请求和响应格式与OpenAI官方API完全一致，包括：

• 标准的对话消息格式（system/user/assistant角色）
• 流式响应支持（stream参数）
• 温度、最大token数等生成参数
• 工具调用（function calling）支持

这意味着现有的任何OpenAI客户端库都可以直接与llm_client通信，无需任何代码修改。

工具调用是llm_client的一个亮点特性。Gemini和OpenAI的工具调用格式存在差异，llm_client负责完成以下转换工作：

1. 入站转换：将OpenAI格式的工具定义注入到Gemini的系统提示中
2. 出站转换：解析Gemini返回的工具调用结果，重新包装为标准的OpenAI tool_calls结构

这种转换是透明的，应用框架看到的始终是标准的OpenAI格式。

项目使用Google官方的Gemini Python SDK进行实际的模型调用。为了支持生产环境的使用，llm_client实现了完善的密钥管理和速率限制机制：

• 多密钥支持：可以配置多个Google API密钥，系统会自动轮询使用
• 速率限制：支持RPM（每分钟请求数）和TPM（每分钟token数）限制
• 自动重试：当遇到速率限制或临时故障时自动重试
• 失败阈值：配置最大连续失败次数，防止无限重试

部署llm_client非常简单，只需几个步骤：

克隆仓库并安装依赖：

git clone https://github.com/rachancheet/llm_client.git
cd llm_client
pip install -r requirements.txt