MLX-VLM-Server：Apple Silicon上的多模态大模型服务

一个专为Apple Silicon优化的OpenAI兼容多模态Qwen服务器，支持Qwen3-Omni和Qwen3.6-27B模型，提供内存预算管理、多模态输入和工具调用能力。

• 原作者/维护者: kiarina
• 来源平台: GitHub
• 原始标题: mlx-vlm-server
• 原始链接: https://github.com/kiarina/mlx-vlm-server
• 发布时间: 2026-06-04

---

随着Apple Silicon芯片（M1/M2/M3系列）在AI推理领域的崛起，越来越多的开发者希望在Mac设备上高效运行大语言模型和多模态模型。然而，现有的推理框架往往对Apple Silicon的优化不够充分，或者缺乏对多模态能力的完整支持。mlx-vlm-server项目正是为了解决这一问题而生，它基于Apple的MLX框架，提供了一个专为Apple Silicon优化的多模态模型服务。

mlx-vlm-server实现了与OpenAI API兼容的接口，这意味着：

• 可以直接替换现有的OpenAI API调用
• 支持标准的聊天补全（chat completions）端点
• 兼容现有的客户端库和SDK
• 无缝迁移现有应用

项目支持真正的多模态输入输出：

输入支持：

• 文本（Text）：自然语言指令和问题
• 图像（Image）：图片理解、分析、描述
• 音频（Audio）：语音输入、音频内容理解
• 视频（Video）：视频内容分析和理解

输出支持：

• 文本生成：自然语言回复
• 工具调用（Tool-calls）：支持函数调用和外部工具集成

项目在一个进程中同时运行两个强大的Qwen模型：

• Qwen3-Omni：专为多模态理解设计的模型
• Qwen3.6-27B：大规模语言模型，提供强大的文本理解和生成能力

这种设计允许模型之间协同工作，发挥各自优势。

针对Apple Silicon设备的内存限制，项目实现了智能的内存管理：

• 内存预算配置：用户可以设置最大内存使用量
• 常驻缓存：热点数据保持内存常驻，减少重复加载
• 动态卸载：内存不足时自动卸载非必要数据
• 量化支持：支持模型量化以进一步降低内存占用

MLX是Apple专为机器学习设计的框架，具有以下优势：

• 原生支持Apple Silicon的Unified Memory架构
• 高效的GPU计算（Metal Performance Shaders）
• 与NumPy类似的API设计，易于上手
• 支持自动微分和计算图优化