本地大语言模型部署实战：基于 llama.cpp 的多平台推理环境配置指南

本项目由AYastrebov维护，提供基于llama.cpp的本地大语言模型部署方案，覆盖Fedora Linux（AMD ROCm）、macOS（Apple Silicon）和Docker无头服务器三大平台，包含预置配置、启动脚本及模型量化建议，帮助开发者在消费级硬件高效运行开源大模型（如Gemma、Qwen等）。项目来源为GitHub仓库local-llm-setup，更新时间2026-05-25。

随着开源大语言模型发展，开发者希望本地部署以获隐私保护、低延迟和灵活控制，但面临硬件兼容、驱动配置等门槛。本项目解决此问题，提供完整配置方案，覆盖三种主流场景：Fedora Linux（AMD Radeon）工作站、Apple Silicon Mac、Docker无头服务器，还集成Claude Code协同技能定义。

硬件平台：1. Fedora Linux+AMD Radeon：参考配置Intel i5-14600K+RX9060 XT（16GB显存）+32GB内存，用ROCm加速；2. macOS+Apple Silicon：M2 Max+64GB统一内存，Metal后端；3. Docker无头服务器：Intel i3-6100T+24GB内存，纯CPU推理。

模型推荐：Gemma4 26B-A4B（通用对话/视觉）、Qwen3.6 27B（推理/代码）、Qwen3.6 35B-A3B（MoE，低显存）、LFM2.5-350M（轻量，资源受限）。

量化策略：Mac（64GB内存）：Gemma4用Q8_K_XL（28GB）、Qwen3.6 27B用Q6_K_XL（26GB）；Fedora（16GB显存）：Gemma4用Q3_K_XL（13GB）、Qwen3.6 35B-A3B用IQ3_XXS（14GB，需取消KV_CACHE注释）；Docker服务器：LFM2.5-350M用Q8_0（379MB）。

MTP加速：推测解码技术，一次性预测多令牌，速度提升1.4-2.2倍，需-MTP-版本GGUF文件及启动参数--spec-type draft-mtp --spec-draft-n-max 6，密集模型收益高于MoE模型。

1. 安装ROCm套件（hipcc、rocminfo等），加入render和video用户组；2. 克隆llama.cpp仓库，用build-llama.sh编译；3. 复制gemma-moe、qwen-mtp脚本到~/.local/bin并授权；4. 用zshrc-snippet.sh设置环境变量和别名；5. 复制models.json和opencode.jsonc配置文件，让AI助手调用本地模型。

Claude Code集成：skills目录下定义技能，实现Claude Code调用本地llama.cpp服务，支持云端+本地混合工作流，适合敏感代码或离线场景。

适用人群：AI爱好者、隐私需求企业开发者、降低API成本团队、技术学习者。

亮点：开箱即用，提供验证过的配置和命令，降低试错成本。

本项目降低本地LLM部署门槛，提供跨平台完整方案。随着llama.cpp迭代和开源模型能力提升，本地部署更成熟易用。对摆脱云端依赖、拥抱开源生态的开发者，是实用实战指南。