LLM API Gateway：基于FastAPI和LangGraph的生产级AI代理微服务

一个基于FastAPI和LangGraph构建的生产就绪型LLM API微服务，集成Anthropic Claude API，提供结构化多轮对话能力，内置OpenTelemetry可观测性支持，支持Docker容器化部署。

• 原作者/维护者： vvasylkovskyi
• 来源平台： GitHub
• 原始标题： llm-api
• 原始链接： https://github.com/vvasylkovskyi/llm-api
• 发布时间： 2026年5月

---

LLM API Gateway是一个基于FastAPI和LangGraph构建的生产就绪型微服务，专为运行由Anthropic Claude API驱动的AI代理和工作流而设计。该项目不仅提供了一个功能完整的对话式AI代理网关，更展示了如何构建和部署具备可观测性的现代化LLM API服务。

项目的核心架构围绕LangGraph状态化代理图展开，通过FastAPI服务器暴露RESTful接口，支持多轮对话、可配置系统提示词和消息历史管理。同时，项目内置了OpenTelemetry链路追踪和指标收集能力，为生产环境运维提供了必要的可观测性保障。

---

项目采用LangGraph构建状态化代理图，具备以下能力：

• 状态管理 - 维护跨多轮对话的上下文状态
• 可配置系统提示词 - 支持自定义代理行为和角色设定
• 消息历史追踪 - 自动管理对话历史，支持长上下文窗口
• Claude Haiku集成 - 基于Anthropic的claude-haiku-4-5-20251001模型

基于FastAPI框架构建的RESTful API服务：

• 自动文档生成 - 访问/docs即可获得交互式API文档
• 类型安全 - 利用Python类型提示实现请求/响应验证
• 高性能 - 异步处理，支持高并发请求
• 标准化接口 - 所有路由以/v1为前缀

项目内置了完整的可观测性解决方案：

• 链路追踪 - 通过Arize Phoenix实现OpenTelemetry链路追踪，自动埋点LangChain和FastAPI
• 指标收集 - 通过Grafana Alloy以OTLP gRPC协议导出FastAPI指标，每15秒上报一次
• 可视化 - 支持将追踪数据和指标接入主流可观测性平台

项目提供了完整的DevOps支持：

• Docker容器化 - 包含Dockerfile和docker-compose.yaml，支持一键部署
• GitHub Actions - 包含在自托管Mac runner上的自动化构建和发布流程
• Docker Hub集成 - 支持自动构建并发布到Docker Hub

---

┌─────────────┐
│   Client    │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│  FastAPI    │
│   Server    │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│  LangGraph  │
│   Agent     │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│  Anthropic  │
│ Claude API  │
└─────────────┘