SharedLLM：社区驱动的分布式AI推理网络，让闲置算力成为公共基础设施

SharedLLM是一个开源的分布式LLM推理网络，核心目标是聚合个人和机构的闲置计算资源，构建社区拥有的AI基础设施。它旨在打破少数科技巨头的算力垄断，让用户只需支付电费和带宽费用即可运行前沿大模型，实现AI计算资源的民主化。

当前，少数科技巨头掌控全球多数AI推理基础设施，以低成本运行服务却高价出租，形成算力垄断。同时，全球数百万台笔记本、工作站、学校实验室及办公室设备在非工作时段（如下午5点后）大量闲置。这些分散的算力若有效组织，可成为巨大的替代性AI资源池——SharedLLM正是基于此观察诞生。

SharedLLM采用联邦式架构，核心组件包括：

1. 协调器：中枢负责节点注册、任务调度、结算管理，提供FastAPI接口和Python SDK，支持自托管或Naridon托管（不拥有算力）；
2. 节点守护进程：轻量级服务（支持多系统），注册设备能力、发送心跳、服务推理分片，节点自主控制加入/退出；
3. RPC层与跨机并行：基于llama.cpp的RPC协议，HMAC-SHA256认证，支持跨机张量并行，突破单机显存限制；
4. LAN自动集群发现：同一子网延迟<2ms的设备自动合并为虚拟节点，适合机房/办公室多机环境；
5. 联邦协议：支持站点间协调器互联，通过HMAC签名实现跨机构资源联邦，保留主权同时共享算力。

SharedLLM针对不同用户群体提供部署方案：

• 个人用户：安装工具贡献闲置算力换免费推理额度，或本地运行私有LLM获取OpenAI兼容API（零成本、零遥测）；
• 机构用户：两条命令初始化站点（sharedllm site init/join），局域网自动集群化支持张量并行，无需逐台配置；
• 研究人员/公民技术倡导者：联邦化机构集群，通过HMAC签名跨协调器调用、信任机制，构建公共AI服务。

SharedLLM默认保护隐私与安全：

• 数据主权：用户提示词和硬件由用户控制，敏感负载可限定在自有LAN内；
• 透明无后门：CLI仅与用户提供的协调器URL通信，源码全可审计；
• 加密传输：节点认证用HMAC-SHA256，工作通道用临时密钥，协调器支持TLS；
• 标准加密：采用验证过的标准加密库，无自定义方案。

SharedLLM处于公开Alpha阶段，功能状态如下：

功能模块	状态
单节点推理（OpenAI兼容API）	✅ 稳定，已用于生产
双机RPC张量并行	✅ 可用
LAN自动集群发现	✅ 第一阶段已发布
分层调度（层放置）	✅ 第二阶段已发布
集群头范围扫描与基准测试	✅ 第三至四阶段已发布
CLI站点初始化/加入	✅ 第五阶段已发布
跨站点联邦注册表（HMAC）	✅ 第六阶段已发布
浏览器工作器（WebGPU计算层）	🔨 第七至八阶段进行中
链上信用账本（EVM）	📝 测试网合约已起草
主网/托管协调器规模化	🎯 目标2026年Q4

SharedLLM采用AGPL-3.0许可证：其网络使用条款具传染性，防止SaaS漏洞封闭开源项目。贡献采用开发者起源证书（DCO），无需CLA，贡献者保留版权。Naridon公司持有商标并运营托管基础设施，但不拥有代码、不能重新许可、也不能排除社区，主要负责资助维护、运行托管协调器及商业支持。

SharedLLM是对抗AI算力集中化的技术尝试，证明分散闲置资源可组织成有竞争力的公共服务。它为关心AI民主化、数据主权的开发者与机构提供工具集——学校可将机房电脑变为虚拟GPU集群，个人可贡献算力为社区提供免费AI服务。长期愿景：AI计算应是公共事业，而非向少数公司支付的租金。