使用 FastAPI 和 Ollama 构建本地 LLM API 服务：零成本实现大模型推理

本文介绍开源项目local-llm-api，该项目基于FastAPI和Ollama构建，可零成本实现本地大模型推理并提供REST API服务。支持多轮对话、图像描述、文本分类等功能，无需调用付费API，适合私有化部署需求。

随着LLM技术普及，开发者集成AI能力时面临第三方API的费用、延迟和数据隐私问题。本地部署可解决这些问题，但门槛高（模型加载、推理优化、API封装等）。local-llm-api提供开箱即用方案，简化本地LLM服务搭建。

local-llm-api是基于Python FastAPI的开源项目，核心目标是简化本地LLM的API化。底层使用Ollama作为模型运行引擎，默认集成阿里通义千问Qwen2.5-VL 3B多模态模型。技术栈均为开源且商业友好：FastAPI（MIT）、Uvicorn（BSD）、Ollama（MIT）、Qwen2.5-VL（Apache2.0）、Streamlit（Apache2.0），可用于商业项目。

项目提供7个主要API端点：

1. /health：健康检查，验证服务和Ollama后端状态
2. /chat：多轮对话，维护对话历史
3. /generate：单次文本生成，支持温度、最大token数等参数
4. /describe-image：图像描述（基于Qwen2.5-VL多模态能力）
5. /summarize：长文本摘要
6. /classify：文本分类到预定义类别
7. /extract-keywords：关键词提取 这些端点覆盖常见LLM应用场景。

项目还具备多项高级特性：

• 流式响应（SSE）：实时输出，提升交互体验
• 模型动态切换：每个请求可通过model参数覆盖默认模型
• 完整参数控制：支持temperature、max_tokens、top_p等生成参数
• 请求日志记录：记录到SQLite和日志文件
• Streamlit可视化界面：支持PDF/图像上传，方便非技术人员使用
• Docker支持：一键构建容器化服务，简化部署

步骤如下：

1. 安装Python3.10+和Ollama（建议官网下载）
2. 拉取模型：ollama pull qwen2.5vl:3b
3. 克隆项目：git clone https://github.com/sfc38/local-llm-api.git
4. 安装依赖：创建虚拟环境，激活后pip install -r requirements.txt
5. 启动服务：uvicorn app.main:app --reload
6. 测试：访问http://127.0.0.1:8000/docs查看Swagger UI，或用curl测试生成接口。

该项目适合多种场景：

• 企业内部工具：私有网络部署，处理敏感文档
• 开发测试环境：原型验证，替代付费API
• 边缘计算场景：资源受限环境运行轻量模型
• 学习与研究：学习FastAPI设计、LLM集成等
• 定制化AI服务：扩展业务逻辑，构建垂直领域应用

局限与未来：项目计划添加Oracle Cloud部署指南、对话历史限制、文件上传端点、速率限制、API密钥认证等功能。 总结：local-llm-api设计精良、文档完善，降低本地LLM部署门槛，提供完整解决方案。适合探索本地LLM应用的开发者，代码质量高，可作为学习或二次开发基础。建议尝试该项目，尤其适合零成本、私有化需求的场景。