# ToshLLM：让 Intel Mac 与 AMD 显卡也能本地运行大语言模型 > ToshLLM 是一款专为 Intel Mac 和 AMD 独立显卡设计的本地大语言模型运行工具，通过 Metal 加速和专门的 AMD 补丁，解决了传统工具在这些硬件上输出损坏和性能低下的问题。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-06-12T15:12:08.000Z - 最近活动: 2026-06-12T15:20:03.358Z - 热度: 163.9 - 关键词: ToshLLM, 本地大语言模型, Intel Mac, AMD GPU, Metal加速, llama.cpp, MoE模型, 推测解码, 本地AI, 开源工具 - 页面链接: https://www.zingnex.cn/forum/thread/toshllm-intel-mac-amd - Canonical: https://www.zingnex.cn/forum/thread/toshllm-intel-mac-amd - Markdown 来源: ingested_event --- ## 原作者与来源 - **原作者/维护者**: Engelbert Delgado ([@engeldlgado](https://github.com/engeldlgado)) - **来源平台**: GitHub - **原始标题**: toshllm: Run large language models locally on Intel Macs with AMD GPUs - **原始链接**: https://github.com/engeldlgado/toshllm - **发布时间**: 2026年6月12日 --- ## 背景：被遗忘的硬件群体 在过去几年中，大语言模型（LLM）的本地部署工具如雨后春笋般涌现。然而，仔细观察就会发现，绝大多数工具都将目光聚焦在了 Apple Silicon 芯片上——M1、M2、M3 系列凭借其统一的内存架构和强大的神经网络引擎，确实成为了运行本地 LLM 的理想平台。 但还有一群用户被有意无意地忽视了：那些使用 Intel Mac 并配备 AMD 独立显卡的用户，包括 Hackintosh 黑苹果用户。这些硬件在运行传统本地 LLM 工具时面临两个致命问题： 1. **输出损坏**：标准的 llama.cpp 等推理引擎在 AMD 独立显卡上会产生乱码或损坏的输出 2. **性能低下**：模型权重通过 PCIe 传输的速度远低于硬件实际能力，造成严重的带宽瓶颈 ToshLLM 正是为解决这一痛点而生。 --- ## 项目概述：专为 Intel Mac + AMD GPU 打造 ToshLLM 是一个原生的 macOS SwiftUI 应用程序，它基于 llama.cpp 构建，但加入了专门针对 AMD 显卡的补丁。开发者 Engelbert Delgado 在一台配备 RX 6700 XT 12GB 显卡的 Intel Mac 上开发和调优了这个工具。 ### 核心性能对比 | 模型配置 | 标准 llama.cpp | ToshLLM | |---------|---------------|---------| | Qwen3-8B 生成速度 | 0.6–2.6 t/s | ~57 t/s | | Qwen3.6-35B (MoE) | 无法使用 | ~26 t/s (含MTP) | 这个性能提升不是微小的优化，而是数量级的飞跃——从几乎不可用到流畅运行。 --- ## 技术亮点深度解析 ### 1. AMD 专用补丁 ToshLLM 的核心在于其对 llama.cpp 的 AMD 专用补丁。这些补丁解决了 Metal 驱动在 AMD 显卡上的两个关键问题： - **分块传输**：通过 `patches/` 目录中的补丁实现分阶段传输，规避 Metal 驱动对主机可见内存分配的限制 - **并发控制**：自动设置 `GGML_METAL_CONCURRENCY_DISABLE` 环境变量，确保在 AMD 硬件上的稳定运行 ### 2. MoE 模型智能优化 混合专家模型（Mixture-of-Experts, MoE）如 Qwen3.6-35B-A3B 因其高效的参数利用而备受关注，但它们在消费级硬件上运行往往困难重重。ToshLLM 提供了： - **自动 `--n-cpu-moe` 计算**：根据硬件配置自动计算 CPU 端专家计算的最佳分配 - **混合推理模式**：让 12GB 显存也能流畅运行 35B 级别的 MoE 模型 ### 3. MTP 推测解码 ToshLLM 支持 Multi-Token Prediction（MTP）推测解码技术，这项技术可以在不损失生成质量的前提下，将生成速度提升约 34%。对于需要实时交互的聊天场景，这意味着显著更流畅的用户体验。 ### 4. TurboQuant 双引擎 除了官方 llama.cpp 引擎外，ToshLLM 还集成了实验性的 TurboQuant 引擎： - **KV 缓存压缩**：可将 KV 缓存压缩至原大小的约 16% - **超长上下文**：在 12GB 显存上支持 100k+ 的 token 上下文长度 --- ## 功能特性一览 ### 原生聊天界面 ToshLLM 提供了精心设计的 SwiftUI 聊天界面： - 多会话持久化存储 - 完整的 Markdown 渲染，包括代码块复制 - 重新生成、系统提示词设置 - 实时显示 tokens/秒 性能指标 ### 模型管理器 内置的模型管理功能让模型获取变得简单： - 精选模型目录，附带每款模型的 VRAM/RAM 需求估算 - Hugging Face 搜索集成 - 下载进度显示 - 一键删除模型 ### 基准测试工具 ToshLLM 包含内置的性能测试功能： - 测量 prompt 处理和生成速度 - 历史记录保存 - 对比图表展示 ### OpenAI 兼容 API 启动后，ToshLLM 在本地 `http://127.0.0.1:8080` 提供 OpenAI 兼容的 API 端点，这意味着你可以： - 从任何支持 OpenAI API 的客户端连接 - 在 Python 脚本中使用 `openai` 库调用本地模型 - 集成到现有的开发工作流中 ### 双语支持 ToshLLM 内置完整的双语界面和文档支持（英语/西班牙语），每个参数都有详细的工具提示说明。 --- ## 硬件要求与兼容性 ### 最低配置 - macOS 14 或更高版本 - Intel Mac 配备支持 Metal 的 AMD 独立显卡 - 16GB 内存 ### 推荐配置 - 32GB 内存（用于运行 35B 级别的 MoE 模型） - AMD RDNA 2 架构显卡（如 RX 6700 XT） ### Hackintosh 支持 对于黑苹果用户，ToshLLM 可以与 [NootRX](https://github.com/ChefKissInc/NootRX) 内核扩展配合工作，该扩展为 AMD RDNA 2 显卡提供 Metal 支持。只要 Metal 能正常工作，ToshLLM 就能运行。 --- ## 实测性能数据 开发者在 RX 6700 XT (12GB) + DDR4 内存的配置上进行了详细测试： | 模型 | 配置 | Prompt 速度 | 生成速度 | |-----|------|------------|---------| | Qwen3-8B Q4 | 全 GPU | 101 t/s | 57 t/s | | Qwen3.6-35B-A3B Q4 | MoE 混合 (ncmoe 24) | 123 t/s | 18.6 t/s | | Qwen3.6-35B-A3B Q4 | + MTP 推测解码 | — | 25.7 t/s | | Qwen3.6-35B-A3B Q4 | TurboQuant 超长上下文 | 68 t/s | 15.7 t/s | 值得注意的是，混合 MoE 推理受内存带宽限制较大。使用 DDR5 内存的系统，生成速度大约可以翻倍。 --- ## 安装与使用 ToshLLM 采用自包含设计，无需额外依赖： 1. 从 [Releases](https://github.com/engeldlgado/toshllm/releases) 下载最新 DMG 2. 打开 DMG 并将 ToshLLM 拖入应用程序文件夹 3. 首次启动时需要在系统设置中允许运行（尚未进行 Apple 开发者签名） ```bash # 或使用命令行移除隔离属性 xattr -dr com.apple.quarantine /Applications/ToshLLM.app ``` 应用程序内部已经包含了所有推理引擎，无需安装 Homebrew、Python 或其他依赖。 --- ## 开源协议与社区 ToshLLM 采用 GPL-3.0 协议开源，这意味着： - 免费使用、研究、修改和重新分发 - 任何分发的衍生作品必须保持 GPL-3.0 协议 - 保留版权声明 - 项目永远不会变成闭源商业软件 社区贡献 welcomed，详见项目中的 CONTRIBUTING.md。 --- ## 总结与思考 ToshLLM 的出现填补了一个被忽视的市场空白。在 Apple Silicon 成为焦点的今天，仍有大量用户在使用 Intel Mac 和 AMD 显卡，他们不应该被排除在本地 AI 革命的门外。 这个项目的意义不仅在于技术层面——它证明了开源社区能够识别并解决商业软件不愿触及的细分领域问题。通过针对性的硬件优化，ToshLLM 让老旧硬件焕发了新生，为用户提供了无需云端、无需订阅、完全私密的本地 AI 体验。 对于那些拥有兼容硬件的用户来说，ToshLLM 可能是目前最佳的本地 LLM 解决方案。而对于整个社区，它提供了一个很好的范例：即使是小众需求，也值得被认真对待。