正文

Unhosted：在个人硬件上运行分布式AI推理的开源框架

Unhosted是一个用Rust编写的开源项目，旨在让用户能够在自己拥有的设备上运行大语言模型推理，无需依赖云端API。项目提出了三级信任半径架构：本地模式、可信节点模式和公共 swarm 模式，实现了真正的数据隐私和计算自主。

分布式推理本地AIRust隐私保护开源llama.cpp去中心化

发布时间 2026/05/13 02:41最近活动 2026/05/13 02:50预计阅读 2 分钟

章节 01

Unhosted：让AI运行在个人硬件上的分布式推理框架导读

Unhosted是一个用Rust编写的开源项目，旨在让用户在个人设备上运行大语言模型推理，无需依赖云端API。核心理念为"AI that lives where you do"，通过三级信任半径架构（本地模式、可信节点模式、公共swarm模式）实现数据隐私与计算自主。

章节 02

当前AI推理多依赖集中式云服务，存在隐私风险与外部依赖。Unhosted项目因此而生，采用Rust开发（pre-alpha阶段），区别于其他本地AI方案，支持分布式推理集群架构，可将多台个人设备组合为统一推理端点。

章节 03

仅使用用户自有设备，无需联网，推理完全本地完成，数据不离开物理控制，适合敏感场景。

扩展至信任圈设备（室友电脑、家庭服务器等），端到端加密连接，无费用，适合小团队或家庭多设备场景。

调用陌生人GPU组成的公共swarm，按token用USDC计费，设每月消费上限，作为前两种模式的补充安全网。

章节 04

已实现功能：

单机推理（v0.0.1，基于llama.cpp封装，M系列Mac冒烟测试通过）
局域网集群（v0.0.2，请求路由+本地/对等节点轮询调度，端到端验证完成）
mDNS节点发现与配对（v0.0.3，侧边栏一键配对+热重载路由）
模型管理（v0.0.3，支持短名称及GGUF URL拉取）正在开发：VRAM池化、可信节点配对（v0.1.0）、公共Swarm（v0.3.0）、可验证推理（研究阶段）。

章节 05

章节 06

Unhosted采用AGPL-3.0许可证，允许阅读、分叉、审计和部署，但禁止作为付费服务托管并声称自研。维护者承诺诚实对待能力边界（README标注现状），将发布可复现benchmark数据而非营销话术。

章节 07

Unhosted代表AI计算模式从集中式云服务向分布式、用户自主控制架构的反思。虽处于早期阶段，但技术路线清晰、开发态度诚实，对关注AI隐私及摆脱云端依赖的用户是值得期待的选择，未来有望成为本地AI推理重要基础设施。