AI Lab：四种本地大语言模型推理技术栈的端到端对比实验

AI Lab是一个开源实验沙盒，旨在解决本地大语言模型（LLM）部署的技术选型困境。项目通过使用相同的模型（Qwen 2.5 0.5B Instruct, Q4_K_M GGUF格式）和提示词，对比llama-cpp-python、OllamaSharp、LLamaSharp和Blazor Server四种本地LLM推理方案，帮助开发者直观理解不同部署和抽象层级的权衡取舍，而非提供性能基准测试。

随着LLM快速发展，本地部署因数据隐私、成本控制和低延迟等优势成为热门选项，但众多推理框架（如llama.cpp、Ollama、LLamaSharp等）让开发者面临选型困惑。AI Lab作为对比阅读实验室，通过并排代码实现，帮助开发者理解不同技术栈的设计哲学和权衡，解决这一痛点。

项目核心是"同一问题，四种解法"，确保对比公平性。四个技术栈覆盖编程语言（Python vs .NET）、推理位置（进程内 vs 外部服务）、通信协议（绑定/互操作 vs HTTP）和交互模式等维度：

技术栈	编程语言	推理方式	通信机制	交互界面
smoke_llama_cpp.py	Python	llama.cpp进程内	Python绑定	单次补全
dotnet-client	.NET 10	外部Ollama服务	HTTP	交互式控制台聊天
dotnet-llamasharp	.NET 10	llama.cpp进程内	原生互操作	单次流式输出
dotnet-blazor	.NET 10	外部Ollama服务	HTTP + SignalR	Blazor Server网页UI
项目采用"反DRY"设计，每个技术栈自包含，避免共享库破坏对比阅读体验，让开发者完整理解每个方案全貌。

smoke_llama_cpp.py（Python直接绑定）

最接近裸金属实现，直接与llama.cpp交互，零中间层，自包含（自动下载模型），简洁依赖，GPU可选。适合Python数据科学工作流，但交互性弱。

dotnet-client（Ollama HTTP客户端）

服务化架构，模型推理与客户端分离，集成Microsoft.Extensions.AI，支持交互式聊天、流式响应。适合快速原型和利用Ollama生态。

dotnet-llamasharp（.NET进程内推理）

纯.NET方案，无外部依赖，手动管理ChatML模板，支持token级流式。适合.NET应用集成LLM。

dotnet-blazor（Web聊天界面）

Blazor Server架构，现代化UI，完整功能（Markdown渲染、图片附件等），SignalR流式通信。适合生产就绪应用参考。

运行环境：

• Python：3.11+，venv，依赖llama-cpp-python；
• .NET：10 SDK，.slnx格式，dotnet CLI；
• 外部服务：Ollama（端点默认http://127.0.0.1:11434）；
• 硬件：约400MB磁盘空间，默认CPU推理。

模型缓存契约：

• 共享缓存路径：~/.cache/ai-lab/gguf/qwen2.5-0.5b-instruct-q4_k_m.gguf；
• 仅smoke_llama_cpp.py填充缓存，Ollama相关栈使用独立模型管理。

技术选型参考：帮助团队理解进程内vs服务化、Python vs .NET、抽象层级复杂度等权衡； 学习资源：代码量适中，从简单到复杂渐进，展示生产细节； 架构决策参考：多技术栈对比组织、代码可读性与工程实践平衡、共享资源管理。

局限性：无测试/CI/CD，提示词简单，默认CPU推理； 扩展方向：添加Rust/Go/Node.js等技术栈、性能基准、GPU对比、多模态扩展。

AI Lab通过并排实现对比，帮助开发者理解本地LLM部署的设计权衡，是技术学习的有效模式。作为稳定参考点，它不仅展示"如何做"，更解释"为什么这样设计"，为本地LLM部署选型提供深层理解基础。