# Unhosted：在个人硬件上运行分布式AI推理的开源框架

> Unhosted是一个用Rust编写的开源项目，旨在让用户能够在自己拥有的设备上运行大语言模型推理，无需依赖云端API。项目提出了三级信任半径架构：本地模式、可信节点模式和公共 swarm 模式，实现了真正的数据隐私和计算自主。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-05-12T18:41:16.000Z
- 最近活动: 2026-05-12T18:50:10.540Z
- 热度: 148.8
- 关键词: 分布式推理, 本地AI, Rust, 隐私保护, 开源, llama.cpp, 去中心化
- 页面链接: https://www.zingnex.cn/forum/thread/unhosted-ai
- Canonical: https://www.zingnex.cn/forum/thread/unhosted-ai
- Markdown 来源: ingested_event

---

## 项目背景与核心理念

在当前的AI应用生态中，绝大多数大语言模型的推理都依赖于集中式的云服务。这意味着用户的每一次查询都需要将数据发送到远程服务器，带来了隐私风险和对外部服务的依赖。Unhosted项目正是为了解决这一问题而生，其核心理念可以用一句话概括："AI that lives where you do"——让人工智能真正运行在用户自己的硬件上。

该项目采用Rust语言开发，目前处于pre-alpha阶段。与市面上其他"本地AI"方案不同，Unhosted不仅仅支持单机运行，而是设计了一个分布式的推理集群架构，允许用户将多台个人设备（笔记本、台式机、甚至树莓派）组合成一个统一的推理端点。

## 三级信任半径架构

Unhosted最独特的设计是其三级信任半径（Trust Radius）架构，让用户可以根据自己的隐私需求和计算资源灵活选择运行模式：

### 本地模式（Local）

这是最基础的层级，仅使用用户自己拥有的设备——笔记本、游戏PC或家庭服务器。该模式不需要互联网连接，所有推理都在本地完成，数据完全不会离开用户的物理控制范围。对于处理敏感信息的场景，这是最安全的选择。

### 可信节点模式（Trusted）

当单台设备的算力不足以运行大型模型时，用户可以扩展到信任圈内的设备——室友的电脑、家庭实验室的服务器、或者团队成员的工作站。这些节点通过端到端加密连接，不暴露给公共网络，也不需要支付费用。该模式适合小团队协作或家庭多设备场景。

### 公共Swarm模式（Public）

作为最后的补充选项，当本地和可信节点的资源都无法满足需求时，系统可以调用一个由陌生人GPU组成的公共swarm。这些节点通过USDC按token计费，用户可以设置每月消费上限。该模式作为安全网存在，确保即使在前两种模式都无法满足需求时，用户仍然可以完成推理任务。

## 技术实现与当前进展

根据项目公开的诚实状态表（What's Honest），目前Unhosted已经实现了以下功能：

- **单机推理**：v0.0.1版本已经发布，基于llama.cpp的llama-server封装，已在M系列Mac上完成冒烟测试
- **局域网集群**：v0.0.2版本实现了请求路由，支持本地设备+对等节点的轮询调度，已完成端到端验证
- **mDNS节点发现与配对**：v0.0.3版本支持应用侧边栏一键配对和热重载路由
- **模型管理**：v0.0.3版本支持已知短名称和直接GGUF URL拉取

正在开发中的功能包括：

- **VRAM池化（层分割）**：需要在启用-DGGML_RPC选项的情况下编译llama.cpp
- **可信节点配对**：计划v0.1.0版本，采用类似WireGuard的连接方式
- **公共Swarm**：计划v0.3.0版本，先在测试网运行，后续支持USDC主网
- **可验证推理**：目前处于研究阶段，计划先实现乐观验证+冗余，待成本可接受时引入ZK证明

## 使用场景与实际意义

Unhosted的设计使其适用于多种场景：

对于隐私敏感的用户，可以在完全离线的环境下运行Llama 70B等开源模型，确保医疗记录、法律文件或商业机密不会泄露给任何第三方。

对于硬件爱好者，可以将家中的MacBook和配备RTX 4090的台式机组合起来，利用两者的VRAM共同运行更大的模型。

对于边缘计算场景，可以在树莓派集群上运行轻量级模型，实现完全自主的AI推理能力。

## 项目愿景与开源承诺

Unhosted采用AGPL-3.0许可证，这意味着任何人都可以阅读、分叉、审计和部署该项目，但不能将其作为付费服务托管并声称是自己开发的。

项目维护者Ankur Sinha和Apoorv Raj公开承诺，项目将始终诚实对待其能力边界——README中明确标注"Reading this README is currently the only thing that works"，并承诺发布可复现的benchmark数据，而非营销话术。

这种透明的开发方式在AI基础设施项目中并不常见，也体现了团队对开源精神的尊重。

## 总结与展望

Unhosted代表了一种对AI计算模式的根本性反思：从集中式云服务回归到分布式、用户自主控制的架构。虽然项目目前仍处于早期阶段，但其清晰的技术路线和诚实的开发态度值得肯定。

对于关注AI隐私、希望摆脱云端依赖的技术用户来说，Unhosted提供了一个值得期待的选择。随着VRAM池化和公共swarm功能的逐步实现，该项目有望成为本地AI推理领域的重要基础设施。