Thunderbolt 5 RDMA集群实战：Apple Silicon上的分布式大模型推理新方案

本文介绍一套基于Thunderbolt5和JACCL技术的Apple Silicon分布式LLM推理集群方案，实现高达7.4GB/s节点间传输速度，提供完整工具链与基准测试框架。该方案利用消费级硬件构建高性能AI集群，兼顾数据隐私、成本效益与灵活性。

大语言模型参数规模增长至数千亿级别，单机推理难以满足需求。传统方案如云端API（隐私/延迟问题）、高端GPU服务器（成本高）、多机分布式（依赖专业网络设备）存在不足。Apple Silicon设备（Mac Studio/Mini）凭借统一内存架构和能效比成为本地推理热门选择，但单台内存有限，如何组成高效集群是关键挑战。

Thunderbolt5：双向带宽80Gbps（TB4两倍），支持RDMA（直接内存访问，降低延迟）。JACCL：Apple开发的集体通信库，针对Apple Silicon优化。集群配置：三节点全mesh拓扑（Mac Studio M3 Ultra为主节点，两台Mac Mini M4 Pro为工作节点）。网络创新：JACCL可与bridge0共存，无需销毁，只需为每个TB接口配置独立IP。Exo补丁：为Exo框架添加RDMA循环检测、bridge0分类等补丁，简化部署。

传输速度：使用rdma-cp.sh和transfer.py工具，全mesh拓扑下三节点持续传输速度达7.4GB/s，较rsync over SSH提升近30倍（如Vader→Voldemort 250GB耗时88秒，速度2.84GB/s）。任务基准：针对Agentic编码任务测试（CLI工具、SSG、REST API等），Qwen3-235B-A22B 8-bit在CLI工具任务获100分，Qwen3-Coder-Next bf16平均39分。思维模型因KV缓存压力会性能衰减，建议任务间重启集群。

模型传输：使用rdma-cp.sh快速传输模型（示例：./rdma-cp.sh ~/.exo/models/... voldemort:~/.exo/models/...）。集群操作：验证RDMA状态（ibv_devinfo | grep -E 'hca_id|state:'）、启动集群（bash ~/exo-src/start-cluster.sh）、部署模型（curl POST请求）。

1. 思维模型性能衰减：长时间推理KV缓存压力导致超时→任务间重启集群。2. MLX内存释放：终止的MLX进程内存未释放→用SIGTERM（有效）或重启设备。3. Mac Studio端口问题：避免使用紧邻以太网端口的TB5端口进行RDMA。4. 模型兼容性：Exo暂不支持gemma4、mimo_v2_flash等模型类型。

该项目展示消费级硬件构建高性能AI集群的可能性，利用TB5 RDMA和Apple Silicon统一内存，以低成本搭建分布式推理环境。为研究人员、开发者提供数据隐私（本地运行）、成本效益、灵活性、高能效比等优势。随着MLX生态发展和JACCL完善，将有更多消费级分布式AI方案涌现，让大模型推理走进个人工作室和小型团队。