oMLX：专为 Apple Silicon 优化的本地 LLM 推理服务器

oMLX是一款针对macOS和Apple Silicon设计的本地LLM推理服务器，通过分层KV缓存和连续批处理技术优化性能，支持文本LLM、视觉语言模型（VLM）、嵌入模型等多种类型，提供菜单栏管理和Web UI，实现本地部署的隐私保护与便捷操作，适用于开发者、研究者及AI爱好者。

现有LLM服务器方案存在便利性与控制力的妥协——要么简单缺配置，要么复杂需命令行。oMLX旨在解决这些问题：支持常用模型内存固定、按需切换大模型、灵活上下文限制，且所有操作可通过菜单栏完成。其分层KV缓存策略将热数据存内存、冷数据卸载到SSD，跨请求复用历史上下文，适配编程场景（如与Claude Code配合）。

1. 分层KV缓存架构：受vLLM启发的块级管理，热缓存（RAM）存频繁访问块保证响应速度，冷缓存（SSD）以safetensors格式存储溢出块，重启后可恢复，突破内存限制；2. 连续批处理：通过mlx-lm的BatchGenerator动态优化预填充/生成批处理大小，支持并发请求；3. 上下文缩放：适配Claude Code场景，调整token数触发自动压缩，SSE保活防止超时。

• 多模型支持：文本LLM、VLM（多图像对话、OCR优化）、嵌入模型、重排序模型；- 智能模型管理：LRU驱逐、手动加载/卸载、模型固定、每模型TTL、进程内存限制（系统RAM减8GB）；- Web管理面板：实时监控、模型管理、内置聊天界面（支持VLM图像上传）、模型下载器（HuggingFace）、基准测试、工具集成配置，支持多语言与离线操作。

安装方式：1. DMG包：拖拽到Applications，支持自动更新；2. Homebrew：tap仓库后install，可通过services管理后台运行；3. 源码：clone仓库后pip install。系统要求：macOS15.0+、Python3.10+、Apple Silicon。快速启动：设置模型目录→启动服务器→下载模型，兼容OpenAI API客户端（地址http://localhost:8000/v1），内置聊天界面在/admin/chat。

应用场景：本地AI辅助编程（隐私保护、无网络可用）、离线文档处理（VLM/OCR分析敏感文档）、私有知识库问答（RAG技术）、模型开发测试（快速切换模型与参数）。最佳实践：缓存调优（短对话增大热缓存，长上下文用冷缓存）、模型选择（7B-13B适合日常，大模型用分层缓存）、并发配置（M1/M2保守设置，M3/M4激进尝试）。

未来方向：多设备分布式推理、支持GGUF等更多模型格式、先进量化压缩技术、插件生态系统。社区贡献：Apache2.0开源，欢迎性能测试、多语言翻译、文档完善、Bug报告、模型兼容性测试，可通过GitHub Issues/Discussions参与或提交PR。