ModelGarden：在 Apple 设备上本地运行大语言模型的 Swift 解决方案

ModelGarden 是一个基于 Apple MLX 框架的 Swift 库和应用程序，允许开发者在 macOS 和 iOS 设备上本地运行大语言模型和视觉语言模型，无需联网即可实现 AI 推理。

ModelGarden 基于 Apple 的 MLX 框架构建，MLX 是 Apple 专为机器学习设计的高性能计算框架，能够充分利用 Apple Silicon 芯片的 GPU 加速能力。该项目不仅仅是一个演示应用，而是一个可复用的 Swift 库（ModelGardenKit）加上一个功能完整的 SwiftUI 应用（ModelGardenApp），为开发者提供了从底层推理到上层 UI 的完整工具链。

这种架构设计的优势在于：开发者既可以直接使用提供的示例应用快速体验本地 AI 的能力，也可以将 ModelGardenKit 集成到自己的应用中，实现定制化的 AI 功能。

ModelGarden 的技术栈围绕 MLX 框架展开，提供了以下核心能力：

项目使用 mlx-swift-lm 作为底层推理引擎，所有模型完全在设备上运行，无需网络连接（除首次下载模型外）。这带来了显著的隐私优势——用户的对话数据永远不会离开设备。

ModelGarden 支持实时 token 流式输出，用户可以即时看到模型生成的内容，而不是等待完整响应。同时，系统会实时显示生成速度（tokens/秒），帮助开发者评估模型性能。

除了文本模型，ModelGarden 还支持视觉语言模型（VLM），允许用户上传图片并让模型进行描述、分析或问答。这在移动设备上实现多模态 AI 具有重要意义。

考虑到移动设备的内存限制，ModelGarden 采用了 4-bit 量化技术，大幅降低了模型的内存占用。同时，系统提供自动 GPU 内存管理，支持手动卸载模型以释放资源。

ModelGarden 内置了 13 个经过优化的模型，涵盖不同规模和用途：

轻量级文本模型（适合移动设备）：

• smolLM:135m - 仅 1.35 亿参数，适合资源受限场景
• llama3.2:1b - Meta 的 Llama 3.2 紧凑版
• qwen3:0.6b - 阿里 Qwen 3 超轻量版

中等规模模型（平衡性能与资源）：

• qwen3:1.7b / 4b - 阿里 Qwen 3 系列
• gemma3n:E2B / E4B - Google Gemma 3 Nano

视觉语言模型：

• qwen2.5VL:3b - 支持图像理解的 Qwen 模型
• smolVLM - HuggingFace 的轻量视觉模型

所有模型均采用 4-bit 量化，在保证可用性的前提下最大化内存效率。