PUMA：面向本地AI的轻量级高性能推理引擎

PUMA是一个用Rust编写的本地AI模型管理和高性能推理引擎，提供简洁的CLI界面，支持从Hugging Face自动下载模型、GPU自动检测、本地缓存管理等功能。

随着大语言模型（LLM）技术的普及，越来越多的开发者和团队希望在本地环境中运行AI模型。然而，现有的解决方案往往要么过于复杂（如vLLM、TGI），要么功能有限（如llama.cpp的原始接口）。PUMA项目应运而生，它试图在简洁性和功能性之间找到一个平衡点。

PUMA 是一个用Rust编写的轻量级本地AI推理引擎，设计目标是让本地模型管理和推理变得像使用Docker管理容器一样简单。项目的口号"Play for fun"体现了其注重开发者体验的设计理念。

PUMA目前提供以下核心功能：

PUMA可以从Hugging Face等模型提供商自动下载和管理AI模型。用户只需知道模型ID，即可通过简单的命令获取模型：

puma pull InftyAI/tiny-random-gpt2

下载的模型会被存储在本地缓存目录（默认~/.puma/cache），支持重复使用和离线运行。

PUMA能够自动检测系统硬件配置，包括：

• 操作系统：Darwin、Linux等
• CPU架构：arm64、x86_64等
• CPU核心数
• 总内存容量
• GPU信息：型号、显存、核心数等

通过puma info命令，用户可以一目了然地查看系统和PUMA的运行状态：

System Information:
  Operating System:   Darwin
  Architecture:       arm64
  CPU Cores:          14
  Total Memory:       36.00 GiB
  GPU:                Apple M4 Max (Metal) - 32 GPU cores

PUMA Information:
  PUMA Version:       0.0.1
  Cache Directory:    ~/.puma/cache
  Cache Size:         799.88 MiB
  Models:             1
  Running Models:     0

PUMA实现了高效的模型存储机制，支持自定义缓存目录。这对于多用户环境或需要管理大量模型的场景特别有用。缓存系统会跟踪已下载的模型，避免重复下载，同时支持模型删除以释放空间。

目前PUMA完整支持Hugging Face Hub，并计划很快支持ModelScope（国内主流的模型托管平台）。这种多提供商设计让开发者可以灵活选择模型来源。

PUMA采用类似Docker的CLI设计哲学，命令直观且易于记忆：

命令	状态	描述	示例
pull	✅	从提供商下载模型	puma pull InftyAI/tiny-random-gpt2
ls	✅	列出本地模型	puma ls
ps	🔨	列出运行中的模型	puma ps
run	🔨	创建并运行模型服务	puma run InftyAI/tiny-random-gpt2
stop	🔨	停止运行中的模型	puma stop <model-id>
rm	✅	删除本地模型	puma rm InftyAI/tiny-random-gpt2
info	✅	显示系统信息	puma info
inspect	✅	查看模型/服务详情	puma inspect InftyAI/tiny-random-gpt2
version	✅	显示版本	puma version
help	✅	显示帮助	puma help

从命令设计可以看出，PUMA目前处于早期开发阶段（v0.0.1），核心功能（pull、ls、rm、info）已经可用，但推理服务相关功能（run、ps、stop）仍在开发中。