asiai-inference-server：Apple Silicon 本地 LLM 推理的舰队管理中枢

asiai-inference-server是专为Apple Silicon设计的LLM推理引擎管理工具，核心解决macOS统一内存压缩器导致VRAM无法释放的痛点，提供安装、启动、停止、卸载和编排功能，支持单机或多机集群控制，是asiai观测工具的控制平面伴侣，助力本地AI工作流的高效运维。

在Apple Silicon Mac上运行本地LLM时，macOS统一内存架构的压缩器导致进程终止后VRAM仍被保留，频繁切换模型易引发内存不足；同时，多推理引擎（Ollama、LM Studio等）的安装管理涉及繁琐命令行与配置，缺乏统一控制平面。

asiai-inference-server是asiai（Apple Silicon AI观测/基准测试CLI）的控制平面项目，负责管理推理引擎的全生命周期（安装、启动、停止、卸载、编排），核心使命是通过引擎卸载API、LaunchDaemon重启和sudo purge命令确定性回收内存，并支持单机/多机集群管理。

基于实战经验总结的关键需求：

1. 简化引擎生命周期管理，避免繁琐命令与配置；
2. 一键切换配置文件，实现模型快速切换；
3. 真正释放VRAM，而非依赖系统压缩器；
4. 统一集群仪表板，管理多台Mac设备；
5. 支持MCP协议，集成AI代理自主管理集群。

采用分层架构，核心特性包括：

• CLI双模式：独立aisctl工具及asiai engine子命令；
• 纯Python标准库：仅依赖Python标准库，可选MCP支持；
• Apple Silicon专属：依赖launchctl、vm_stat、sudo purge等macOS工具；
• SSH优先集群操作：v0.3实现SSH多Mac库存管理与命令分发；
• 配置格式：TOML（人类可编辑）与JSON（运行时状态）。

三大关键场景：

1. 开发环境快速切换：一条命令完成模型切换并释放内存；
2. 多机集群推理：统一调度任务，根据模型大小与负载分配设备；
3. AI代理自主管理：通过MCP协议，AI助手自动选择模型、启动服务并清理资源。

当前处于v0.0.1 pre-alpha阶段，路线图如下：

版本	功能范围	状态
v0.0	仓库骨架 + 打包	进行中
v0.1	安装/卸载/启动/停止 + 内存清理	下一版本
v0.2	配置文件切换（TOML应用/回滚）	计划中
v0.3	集群管理器（多Mac库存、SSH分发）	计划中
v0.4	Web驾驶舱 + 可选HTTP代理	计划中
v1.0	MCP写入工具 + PyPI/Homebrew发布	计划中

项目采用Apache-2.0许可证，由Jean-Marc Nahlovsky创建，作为Apple Silicon AI生态的一部分，与asiai观测工具互补，解决本地LLM部署的运维挑战，为macOS本地大模型用户提供关键基础设施补充。