Mesh LLM：基于llama.cpp的多机分布式推理框架，实现GPU资源池化共享

Mesh LLM是一款基于llama.cpp的开源分布式推理框架，核心目标是实现多机GPU资源池化共享，支持流水线并行与专家并行策略，并提供OpenAI兼容API，让多台机器协同运行超大模型。它旨在解决单卡/单机GPU难以满足大模型推理需求的痛点，降低分布式推理的技术门槛。

随着大语言模型规模持续膨胀，单卡或单机GPU已无法满足推理需求。传统分布式推理方案配置复杂，需专业集群管理经验。Mesh LLM针对这一痛点，允许用户将多台机器的GPU容量池化，对外暴露统一的OpenAI兼容API端点，且设计理念简洁——启动一个节点后可随时添加机器，系统自动处理负载均衡与模型分片。

Mesh LLM基于llama.cpp构建，针对不同模型采用不同并行策略：稠密模型用流水线并行（模型层按显存分布在不同节点），混合专家模型用专家分片（零跨节点推理流量）。核心设计包括：每个节点本地提供相同API端点简化接入；智能路由优先本地执行（模型可单机运行时），仅超容量时触发分布式分片；延迟优化上，llama-server与GPU同机，跨网延迟仅影响首个token生成，不影响后续吞吐率。

Mesh LLM实现多项性能优化：模型加载采用零传输GGUF加载技术，将加载时间从111秒缩短至5秒；RPC通信通过缓存与跳过中间查找，每token往返次数从558次降至8次；支持server-to-server直接传输张量；推测解码功能在代码生成场景下可提升38%吞吐率（接受率75%）。

Mesh LLM支持多模型同时服务：API代理通过model字段路由请求，/v1/models端点列出可用模型。系统具备需求感知动态重平衡能力，通过gossip协议传播需求信号（TTL衰减），当模型失去服务节点时，备用节点约60秒内自动接管。

Mesh LLM提供多种使用模式：入门用mesh-llm serve --auto自动配置；创建私有mesh用mesh-llm serve --model生成邀请token；无GPU机器可作为纯客户端加入；支持命名mesh协作；提供macOS launchd和Linux systemd后台服务；配置文件用TOML格式预设模型与插件。

Mesh LLM支持多模态推理，包括Qwen3-VL等视觉模型、Qwen2-Audio等音频模型，支持图像/音频/文件附件请求（大附件用范围blob上传）。生态集成上，内置Goose、Claude Code等AI Agent工具支持，工具可复用已有mesh或自动启动客户端节点，无缝使用分布式推理能力。

Mesh LLM是实用易用的开源分布式推理方案，通过资源池化、灵活并行策略和简洁部署，降低多机协作推理门槛。项目用Rust和Node.js构建，支持CUDA、ROCm等后端，跨平台性好。对研究者和开发者而言是利用分散GPU资源的好选择，开源性质利于社区持续改进，推动分布式AI基础设施发展。