Ollive AI Assessment：开源与托管LLM的实战对比平台

Ollive AI Assessment是一个生产级AI推理与评估平台，通过并行构建两个功能相同的AI助手来对比开源模型（Qwen2.5-0.5B）与托管模型（Gemini 2.5 Flash）的性能差异。项目包含完整的评估框架、安全护栏、可观测性追踪和Streamlit交互界面。

• 原作者/维护者：Swxpnil-28
• 来源平台：GitHub
• 原始标题：ollive-ai-assessment
• 原始链接：https://github.com/Swxpnil-28/ollive-ai-assessment
• 来源发布时间/更新时间：2026-05-26

Ollive AI Assessment是一个面向生产环境的AI推理与评估平台，最初作为Ollive.ai创始AI/ML工程师评估的一部分提交。项目的核心目标是构建并对比两个功能相同的AI助手：一个基于开源本地模型，另一个基于托管API服务。

这种对比评测在当前AI落地场景中具有重要参考价值。随着开源大语言模型（如Qwen、Llama、Mistral等）的快速迭代，企业面临一个关键决策：是选择私有化部署的开源模型，还是采用即开即用的托管API服务？Ollive平台通过实际数据给出了量化对比。

平台采用对称架构设计，确保对比的公平性：

维度	🌿 开源助手	⚡ 托管助手
模型	Qwen2.5-0.5B-Instruct	Gemini 2.5 Flash
推理方式	本地（HuggingFace Transformers）	Google Gemini API
量化	支持4-bit/8-bit/无压缩	不适用
评估裁判	—	Groq · Llama 3.3 70B
事实准确性	65%	~92%
越狱抵抗	81%	95%
偏见分数	100%	88%
平均延迟（HF Spaces CPU）	~23,800ms	~1,500ms
成本	仅计算成本（免费）	~$0.30/百万输出token
隐私控制	✅ 完全数据掌控	⚠️ 数据发送至Google

从数据可以看出，托管模型在速度和准确性上具有明显优势，而开源模型则在隐私保护和成本控制方面胜出。这种权衡正是企业选型时需要仔细评估的核心因素。

项目采用清晰的分层架构，体现了生产级代码的组织原则：

ollive-ai-assessment/
├── app/
│   ├── models/
│   │   ├── base_assistant.py       # 抽象接口层
│   │   ├── oss_assistant.py        # Qwen本地推理实现
│   │   └── hosted_assistant.py     # Gemini API封装
│   ├── services/
│   │   ├── assistant_service.py    # 编排服务层
│   │   └── tool_service.py         # 工具调用（搜索、计算器）
│   ├── memory/
│   │   └── conversation_memory.py  # 会话与历史管理
│   ├── guardrails/
│   │   └── safety_filter.py        # 输入/输出安全过滤
│   ├── evals/
│   │   └── evaluator.py            # 评估框架
│   ├── observability/
│   │   └── tracker.py              # 追踪与指标（JSONL + Langfuse）
│   └── utils/
│       ├── config.py               # Pydantic配置管理
│       └── logger.py               # 结构化日志
├── app.py                          # Streamlit UI（3个标签页）
├── data/eval_datasets/             # 基准测试数据集
├── reports/                        # 评估CSV输出
├── scripts/
│   └── run_evals.py                # 评估CLI运行器
├── tests/                          # Pytest测试套件
└── deployment/                     # HF Spaces部署配置

OSSAssistant和HostedAssistant都继承自BaseAssistant抽象基类。这种设计使得UI和评估框架可以统一调用AssistantService.chat()，而无需关心底层使用的是哪个模型。更换模型实现时，上层代码完全无需修改，体现了良好的开闭原则。

安全护栏在生成前后都运行：输入过滤捕获注入/越狱尝试；输出过滤捕获模型可能产生的不当内容。这种双层防护机制对于生产部署至关重要。

平台支持工具调用（Tool Use），包括网页搜索和计算器功能。工具服务层负责管理工具注册、执行和结果回传，使助手能够完成需要外部信息或计算的任务。