llmmllab-api：基于 llama.cpp 的 OpenAI/Anthropic 兼容推理服务

一个基于 Python FastAPI 的推理服务，提供 OpenAI 和 Anthropic 兼容的 API 端点，支持 llama.cpp 后端和 LangGraph 智能体编排，适用于私有化 LLM 部署。

llmmllab-api 是一个基于 Python FastAPI 构建的 LLM 推理服务，旨在提供与 OpenAI 和 Anthropic API 格式兼容的端点。该项目结合了 llama.cpp 的高性能推理能力和 LangGraph 的智能体编排功能，为需要私有化部署大语言模型的团队提供了一个完整的解决方案。

项目的核心定位是"兼容性优先"——通过模拟主流云服务商的 API 格式，让现有的客户端代码无需修改即可切换到私有化部署的模型服务。这种设计大大降低了从云端 API 迁移到本地部署的门槛。

项目采用 FastAPI 作为 Web 框架，利用其原生异步支持和自动 API 文档生成功能。服务启动后，开发者可以直接访问 /docs 路径查看交互式 API 文档，方便测试和集成。

系统实现了两套主要的路由体系：

• OpenAI 兼容路由（/openai/）：支持 chat.completions、embeddings 等标准端点
• Anthropic 兼容路由（/anthropic/）：支持 messages 等 Claude 系列 API

这种双兼容策略确保无论现有客户端使用哪家云服务商的 SDK，都可以无缝切换到 llmmllab-api。

项目底层采用 llama.cpp 作为推理引擎，这是一个用 C/C++ 编写的高性能 LLM 推理库，支持多种量化格式（GGUF），能够在消费级硬件上运行大型模型。Docker 镜像从源码编译 llama.cpp，并启用 CUDA 支持以充分利用 GPU 加速。

项目集成了 LangGraph 框架，提供：

• 工作流编排 API（composer_init.py）：定义和管理复杂的多步骤 AI 工作流
• 图结构构建器（graph/）：可视化工作流节点和状态管理
• 工具注册表（tools/）：静态工具和动态工具的统一管理

这使得 llmmllab-api 不仅是一个简单的推理服务，更是一个支持智能体协作的编排平台。

项目采用清晰的分层架构，各模块职责明确：

• app.py：FastAPI 应用入口，负责应用初始化和中间件挂载
• routers/：API 路由定义，按提供商（openai/、anthropic/）和通用功能（common/）组织