LLM-Manager：轻量级 Bash 脚本套件，轻松管理本地大语言模型推理引擎

一款基于 Bash 的轻量级编排工具，支持 Ollama 和 Llama.cpp 等多种本地 LLM 推理引擎的统一管理、启动、停止和监控，特别适合混合环境部署。

• 原作者/维护者：msbragi
• 来源平台：GitHub
• 原始标题：LLM-Manager
• 原始链接：https://github.com/msbragi/LLM-Manager
• 来源发布时间/更新时间：2026-05-29T07:43:02Z

随着大语言模型（LLM）技术的快速发展，越来越多的开发者和企业开始探索在本地或私有环境中部署和运行这些模型。然而，管理多个不同的推理引擎（如 Ollama、Llama.cpp 等）往往涉及复杂的配置和操作，特别是在混合环境（如 Windows 主机配合 WSL2）或远程 SSH 部署场景下。

LLM-Manager 正是为了解决这一痛点而诞生的。它是一个轻量级、模块化的 Bash 编排套件，旨在简化本地和远程 LLM 推理引擎的管理流程，无需依赖重量级的 Python 框架或复杂的仪表板界面。

LLM-Manager 原生支持多种主流推理引擎：

• Ollama：流行的本地 LLM 运行环境，支持一键拉取和运行模型
• Llama.cpp：高性能的 C++ 实现，专注于效率优化
• vLLM（计划中）：针对高吞吐量 serving 优化的推理引擎

该项目的一个突出特点是其对复杂部署环境的适应能力：

• 原生 Linux：完整支持各类 Linux 发行版
• WSL2 集成：特别优化了 Windows Subsystem for Linux 场景，可通过 PowerShell 桥接管理 Windows 主机上的进程
• 远程代理：支持通过 SSH 将本地操作安全转发到远程服务器执行

LLM-Manager 采用了独特的设计理念，同时满足人机交互和自动化集成的需求：

• 交互式输出：向 stderr 输出简洁易读的状态信息，方便人工操作
• 结构化 JSON：向 stdout 输出标准 JSON 格式，便于脚本解析、远程工具调用或 Web UI 集成

对于 Ollama 引擎，管理器能够根据本地 GGUF 模型文件自动生成所需的 Modelfile，无需手动编写配置文件。

项目采用模块化设计，核心组件包括：

.
├── engine.conf              # 全局配置与常量定义
├── engine-models.json       # 模型注册表，包含各引擎的元数据
├── engine-templates.json    # 按模型家族分类的提示词模板
├── engine-run.sh            # 主编排器与入口脚本
├── engine-common.sh         # 操作系统检测、进程管理、JSON 格式化
├── engine-config.sh         # 配置摘要与模型列表
├── engine-status.sh         # 跨引擎状态聚合与指标收集
├── engine-system.sh         # 系统级硬件指标（CPU、内存、GPU、磁盘）
├── logs/                    # 日志目录
├── llama/                   # Llama.cpp 专用脚本
└── ollama/                  # Ollama 专用脚本

每个引擎子目录遵循一致的接口规范：

• start.sh / stop.sh：管理服务器生命周期
• status.sh：检查运行状态和活跃模型
• load.sh / unload.sh：加载模型到显存/内存或释放资源
• show.sh / remove.sh：查看或删除模型