mlx-lm-server：Apple Silicon上的高性能LLM推理服务器

本文介绍mlx-lm-server，一个专为Apple Silicon优化的开源LLM推理服务器。它采用Rust编写，通过PyO3嵌入Python实现Metal加速，具备低内存占用（空闲仅8MB）、快速冷启动（16毫秒）、OpenAI API完全兼容等核心特性，支持LoRA热插拔、推测解码、多模态模型路由等功能，可作为本地AI部署的高效解决方案。

mlx-lm-server由Ar9av开发维护，源码托管于GitHub（链接：https://github.com/Ar9av/mlx-lm-server），发布于2026年6月10日，并在WWDC2025上被苹果官方展示为"Mac上MLX构建本地AI代理"的示例项目。相比传统Python服务器，它在资源占用和启动速度上优势显著：空闲内存8MB vs Python服务器60-100MB，冷启动16毫秒vs3-5秒。

该项目采用Rust+PyO3混合架构：HTTP服务、并发处理（tokio+axum框架）由Rust负责，模型推理通过PyO3调用MLX Python库实现Metal加速，避开Python GIL瓶颈。包含双服务器组件：mlx-lm-server（端口8080，专注LLM聊天补全、LoRA、视觉模型支持）和mlx-audio-server（端口8001，提供TTS/STT等音频功能），均为单二进制文件，静态内存占用约8MB。

1. OpenAI API完全兼容：支持聊天补全、文本补全、嵌入向量、Anthropic Messages API，现有OpenAI客户端代码无需修改即可使用；2. LoRA适配器热插拔：运行时动态加载/卸载/切换，请求通过adapter_name指定；3. 推测解码：启用起草模型提升吞吐量；4. KV缓存量化：4/8位精度降低长上下文内存占用；5. 工具调用：支持OpenAI风格函数调用（兼容Llama-3/Qwen等模型）；6. 模型管理：扫描本地HuggingFace缓存、Hub搜索、Ollama兼容端点。

在Apple M系列芯片上使用Llama-3.2-1B-Instruct-4bit模型测试结果：冷启动16毫秒，模型加载（缓存）2.4秒，空闲内存8MB，流式吞吐量115-261 tok/s，首令牌时间86-96毫秒，4并发请求0.37秒无错误。内置RAM保护功能：加载模型前检查可用内存，避免系统崩溃。

应用场景包括：本地AI开发（零配置、无网络延迟）、隐私敏感应用（数据本地处理）、离线环境（无网络可用）、快速原型验证（低延迟加速迭代）。该项目基于Apple MLX生态，与mlx-lm/mlx-vlm/mlx-audio紧密集成，作为WWDC2025展示项目获官方认可，开源社区活跃持续演进。

快速启动：./run.sh lm（LLM服务器）、./run.sh audio（音频服务器）；模型加载：通过POST /v1/models/load接口；聊天补全：POST /v1/chat/completions接口（支持stream参数）；微调工作流：训练（/v1/train）→挂载适配器→使用→融合模型，均通过API完成。