Synapse：用浏览器实现分布式大模型推理，让每一台设备都成为算力节点

Synapse是革命性的分布式推理引擎，通过WebGPU技术将大语言模型分割到多个浏览器和设备上运行，无需云端GPU或API密钥，让普通手机、平板、笔记本等设备协同完成AI推理任务，旨在让互联网本身成为一台超级计算机。

AI大模型时代算力稀缺，调用云端API或租赁GPU需持续资金投入。但全球数十亿台设备（智能手机、平板等）的GPU大部分时间闲置。Synapse基于这一洞察，提出让浏览器成为算力节点的分布式推理范式。

Synapse技术架构分为五个环节：模型分割（切分HuggingFace模型为N分片）、本地加载（浏览器下载分片并缓存）、并行计算（自定义WGSL着色器实现核心算子）、高效路由（SYN1二进制协议支持int8量化）、自回归生成（KV缓存实现高效生成）。优化围绕减少网络传输展开，已完成二进制协议、KV缓存等优化提升15倍，未来将引入注意力头剪枝和WebRTC P2P。

2026年4月13日，项目演示了Pixel 10 Pro XL与iPhone 16 Pro协同运行GPT-2模型，通过低成本GCP虚拟机协调，成功生成15个token，速度达1.3 token/秒。部署步骤简单：克隆仓库、安装依赖、分割模型、启动协调器，打开浏览器标签页即可成为节点协同推理。

Synapse应用场景包括：教育场景（教室Chromebook协同提供AI辅助学习）、家庭场景（家人手机组成集群服务智能家居）、边缘计算（跨互联网浏览器网格为偏远地区提供低成本AI服务），类似AI推理领域的SETI@home项目。

Synapse证明普通设备可协同完成复杂AI任务，降低AI使用门槛且保障数据隐私（推理本地进行）。未来随着WebGPU普及，该范式或成AI基础设施。建议开发者参与开源项目，探索分布式AI的更多可能性。