llamacpp-distributed-inference：利用區域網路多台電腦實現分散式 LLM 推理

基於 llama.cpp 的分佈式 LLM 推理桌面應用，讓用戶能夠利用區域網路內的多台電腦協同進行大型語言模型的分散式推理，解決單機 VRAM 不足的問題。

• 原作者/维护者：ADT109119
• 来源平台：github
• 原始标题：llamacpp-distributed-inference
• 原始链接：https://github.com/ADT109119/llamacpp-distributed-inference
• 来源发布时间/更新时间：2026-05-23T09:44:42Z

• 原作者/維護者: ADT109119
• 來源平台: GitHub
• 原始標題: llamacpp-distributed-inference
• 原始連結: https://github.com/ADT109119/llamacpp-distributed-inference
• 發布時間: 2026-05-23

---

隨著大型語言模型（LLM）的規模不斷增長，單機運行這些模型所需的 VRAM 資源成為了許多開發者和愛好者的瓶頸。即使使用量化技術，運行 70B 或更大參數的模型仍然需要數十 GB 的顯示記憶體，這對於一般消費級硬體來說是難以承受的。

傳統的解決方案包括：

• 購買更高階的 GPU 設備
• 使用雲端 API 服務
• 選擇更小的模型犧牲效能

然而，這些方案都有其局限性：高階 GPU 價格昂貴、雲端服務有隱私和成本考量、小模型則無法滿足複雜任務的需求。

---

llamacpp-distributed-inference 是一個創新的解決方案，它基於 llama.cpp 構建，讓用戶能夠利用區域網路內的多台電腦協同進行大型語言模型的分散式推理。這個專案採用 Electron 框架開發，提供了跨平台的桌面應用程式介面，讓使用者可以透過直觀的圖形介面來管理和配置分散式推理環境。

核心價值在於：

• 資源整合: 將多台電腦的計算資源整合為一個虛擬的「大 GPU」
• 成本效益: 充分利用現有設備，無需額外購買昂貴硬體
• 隱私保護: 所有計算在本地網路完成，資料不離開內網
• 易用性: 提供現代化的桌面應用介面，降低技術門檻

---

該系統採用了主從式的分散式架構設計：

┌─────────────────┐    ┌─────────────────┐    ┌─────────────────┐
│   本機 (API)    │    │  遠程節點 (RPC) │    │  遠程節點 (RPC) │
│  127.0.0.1      │◄──►│  192.168.1.101  │    │  192.168.1.102  │
│  端口: 8080     │    │  端口: 50052    │    │  端口: 50052    │
│  [自動參與]     │    │  [可選擇]       │    │  [可選擇]       │
└─────────────────┘    └─────────────────┘    └─────────────────┘

本機角色：作為 API 伺服器，負責接收外部請求，並協調分散式計算任務的分配。它同時也參與實際的推理計算。

遠程節點角色：運行 RPC 伺服器，專注於執行分散式推理的計算任務。這些節點可以是同一區域網路內的任何電腦，無論是筆記型電腦、桌機還是工作站。

專案整合了 mDNS（多播 DNS）服務發現技術，讓節點能夠自動在區域網路中被發現：

• 自動廣播: 每 30 秒自動發送廣播訊號，宣告自身可用性
• 手動添加: 支援手動輸入 IP 位址添加特定節點
• 連接驗證: 內建連接檢查功能，確保節點可用性

這種設計大大簡化了分散式環境的搭建過程，用戶無需複雜的網路配置即可快速組建推理集群。

應用程式提供了完整的模型管理功能：

• 自動掃描: 自動檢測 models/ 資料夾中的 .gguf 格式模型
• GPU 層數調整: 靈活設定 GPU 加速層數（-ngl 參數），根據硬體能力優化
• 並行請求控制: 支援設定並行請求數（1-16），提升 API 伺服器吞吐量
• OpenAI 相容 API: 提供標準的 HTTP API 介面，相容 OpenAI API 格式

---