Plexus：异构GPU网格实现可验证LLM推理，让家庭实验室运行数据中心级大模型

Plexus是基于Rust的开源项目，通过构建异构GPU网格网络聚合普通机器的GPU资源，实现可验证的LLM推理。它解决了大模型推理的成本、隐私和硬件限制问题，让开发者在家庭实验室预算内运行数据中心级大语言模型。

随着GPT-4等大模型能力提升，运行硬件要求增高。依赖云端API存在数据隐私、网络延迟和持续成本问题；本地运行则面临GPU资源障碍——数据中心级显卡价格高功耗大，消费级显卡显存不足。

Plexus的创新解决方案核心包括：1.网格网络层：连接异构GPU形成统一计算池，自动负载均衡与调度；2.模型分片与并行推理：智能分片模型参数到多GPU，协调通信实现并行计算；3.可验证推理：生成密码学证明验证推理正确性，确保结果未篡改。

Plexus用Rust编写，利用其内存安全和并发性能优势；通信优化采用梯度压缩、流水线并行、拓扑感知调度减少开销；容错机制通过检查点保存状态，节点失效可恢复。

1.家庭实验室：连接RTX4090/3090等显卡，运行数十亿参数模型进行研究；2.隐私企业：金融医疗等行业可本地化部署，数据不离开内网，可验证推理增强安全；3.边缘离线环境：船舶、偏远地区等无网络场景下运行AI服务。

Plexus采用Apache2.0许可证开源，GitHub仓库提供构建指南和示例配置；作为Rust生态项目，鼓励社区贡献代码、文档和使用经验。

Plexus代表LLM基础设施从集中式数据中心向分布式边缘扩展的方向，"化整为零"的推理模式或成主流；其代码库是学习分布式AI系统和可验证计算的宝贵资源。