Modelito：轻量级多提供商LLM抽象库的设计与实践

Modelito是一款为Python开发者设计的轻量级LLM抽象库，旨在解决多LLM提供商切换的痛点。它通过精简抽象层和可选依赖设计，支持本地Ollama到云端OpenAI、Claude、Gemini等服务的无缝切换，同时提供测试友好的存根机制，帮助开发者以最小代码改动和依赖负担实现灵活的LLM接入。

在LLM应用开发中，多提供商集成面临四大挑战：

1. 依赖膨胀：同时引入多个官方SDK导致依赖急剧增加，增加维护复杂度；
2. 接口差异：不同提供商API的参数命名、调用方式等差异大，需编写大量适配代码；
3. 测试环境问题：真实LLM调用在CI/CD或离线环境不现实，且无API密钥时SDK无法工作；
4. 切换成本：硬编码特定SDK逻辑导致更换提供商时迁移成本高。

设计哲学

Modelito采用轻量化策略，核心原则包括：

• 依赖最小化：基础安装不强制依赖任何SDK，通过可选依赖按需加载；
• 测试友好存根：未安装SDK或API不可用时，提供确定性存根返回预设响应；
• 渐进式增强：基础功能开箱即用，安装可选依赖后升级为真实SDK客户端。

核心组件

• OllamaProvider：支持HTTP API优先、CLI回退、存根兜底的分层降级策略；
• 云端适配：OpenAIProvider、ClaudeProvider、GeminiProvider等遵循统一接口，切换只需修改配置。

安装方式

• 基础安装：pip install modelito（仅核心抽象和存根）；
• 开发模式：pip install -e .[dev] + 安装dev-requirements.txt；
• 按需安装：如pip install -e .[ollama,tokenization]或pip install -e .[openai,anthropic]。

典型场景

1. 开发生产分离：开发用Ollama，生产切换OpenAI无需改业务代码；
2. CI/CD测试：存根机制支持离线测试；
3. 多模型对比：统一接口简化不同模型输出评估。

技术实现亮点

• 类型安全：使用类型注解和mypy静态检查；
• CI保障：GitHub Actions自动运行类型检查和单元测试，Ollama测试可选触发；
• 版本管理：遵循语义化版本，支持本地wheel包安装。

下游应用

Modelito已被用于：

• BatLLM：本地模型批处理工具；
• mail_summariser：邮件摘要生成服务。

方案对比

• LangChain：功能全面但较重，适合复杂Agent系统；
• LiteLLM：专注多提供商路由，提供代理模式；
• Modelito：轻量级客户端抽象，适合底层依赖集成。

适用建议

适合场景：控制依赖体积、模拟LLM测试、作为底层库、本地Ollama与云端切换； 不适合场景：复杂Agent编排、高级功能（流式/函数调用）、企业级特性（路由/缓存）。

Modelito是简洁、可控依赖、测试友好的轻量级选择，适合追求实用主义的开发者。