local-llms：生产级本地大语言模型部署与评测工具链

local-llms是基于llama.cpp的本地大语言模型生产部署方案，专为NVIDIA CUDA环境优化，提供systemd服务管理、OpenAI兼容API、多后端支持及完整评测框架，解决从实验环境到生产环境的工程问题。

随着大语言模型能力提升，企业因数据隐私、成本控制、低延迟需求考虑本地部署，但面临服务持久化、API兼容性、模型管理、性能评测等工程问题。local-llms针对这些问题，提供NVIDIA GPU环境下的生产级工具链。

1. 配置体系：采用YAML分层配置（hardware/providers/profiles/endpoints），优先级为端点>profile>硬件默认，配置阶段进行能力检查；2. 多后端支持：可切换llama.cpp、ik_llama.cpp等推理后端；3. 生产服务：通过systemd实现自动启动、进程守护、日志集成等特性。

快速部署：克隆仓库→运行setup.sh（初始化依赖、编译二进制、安装systemd服务）；日常操作：CLI工具管理端点、模型；评测系统：内置local_smoke/mmlu/gsm8k/niah/frontend_agentic等适配器，支持灵活执行与报告生成。

结论：local-llms是务实的本地LLM部署方案，专注NVIDIA环境，提供模块化配置、完善评测与生产特性；局限性：仅支持CUDA、配置复杂；建议：从SETUP.md了解依赖→CONFIGURATION.md理解配置→BENCHMARKING.md建立基准→MODELS.md选模型实验。