# Duplex：本地优先的多模型并行推理引擎

> 一款支持同时连接本地Ollama和多个云端大模型API的隐私优先型客户端应用，实现真正的并行推理与实时对比。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-07T15:27:34.000Z
- 最近活动: 2026-06-07T15:52:14.751Z
- 热度: 159.6
- 关键词: LLM, 多模型推理, Ollama, 隐私优先, React, TypeScript, 开源工具, AI开发
- 页面链接: https://www.zingnex.cn/forum/thread/duplex
- Canonical: https://www.zingnex.cn/forum/thread/duplex
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：Ryuk1811
- 来源平台：github
- 原始标题：Duplex
- 原始链接：https://github.com/Ryuk1811/Duplex
- 来源发布时间/更新时间：2026-06-07T15:27:34Z

## 原作者与来源\n\n- **原作者/维护者**: Ryuk1811\n- **来源平台**: GitHub\n- **原始标题**: Duplex Interface\n- **原始链接**: https://github.com/Ryuk1811/Duplex\n- **发布时间**: 2026年6月\n\n---\n\n## 背景：为什么需要多模型并行推理？\n\n在使用大语言模型时，开发者常常面临一个两难选择：是使用本地部署的模型保护隐私，还是调用云端API获得更强的性能？更重要的是，不同模型在特定任务上表现各异——有的擅长代码生成，有的擅长逻辑推理，有的在创意写作上更胜一筹。\n\n传统的工作流程是逐个测试不同模型的输出，这不仅耗时，而且难以进行真正的横向对比。Duplex的出现正是为了解决这一痛点，它让开发者能够同时向多个模型发送相同的提示词，并在统一的界面中实时观察它们的响应差异。\n\n---\n\n## 项目概述：什么是Duplex？\n\nDuplex是一款离线优先的多路复用大语言模型推理引擎。它允许工程师、研究人员和开发者同时运行并行、实时的提示词测试，支持本地托管的模型（如Ollama、LM Studio、vLLM）与前沿云端模型（如OpenAI、Anthropic、Gemini、Groq）并存。\n\n该项目的核心理念是"隐私优先"——所有应用状态严格使用`localStorage`进行本地持久化，不涉及外部数据库、遥测追踪或隐藏的云端同步。这意味着用户的对话数据完全保留在本地浏览器中，只有明确发送到云端API的请求才会离开设备。\n\n---\n\n## 核心功能与技术亮点\n\n### 真正的多路复用推理\n\nDuplex最引人注目的特性是支持同时流式传输多达三个AI模型的推理结果。用户可以在一个界面中并排查看不同模型的输出，这对于模型选型、提示词工程和性能基准测试极具价值。\n\n### 完全私有的本地状态\n\n与许多现代Web应用不同，Duplex不依赖任何后端服务。所有配置（模型选择、主题、布局模式）都存储在浏览器的`localStorage`中。这种设计不仅保护了用户隐私，也使得应用可以离线运行。\n\n### 跨平台兼容性\n\nDuplex支持直接连接本地实例（通过Ollama等）或云端提供商（通过标准API密钥注入）。任何使用OpenAI标准格式的自定义端点都可以被轻松集成，包括Perplexity等新兴服务。\n\n### 实时诊断引擎\n\n应用内置了性能指标实时渲染功能，包括首令牌时间（TTFT）和吞吐量（TPS）。这些指标帮助用户量化评估不同模型的响应速度，为生产环境选型提供数据支撑。\n\n### 模块化渲染布局\n\nDuplex提供了多种视图模式：并排对比视图、响应式结构缩放、Markdown/简化渲染切换。用户可以根据屏幕大小和对比需求灵活调整界面布局。\n\n---\n\n## 技术架构解析\n\nDuplex采用现代前端技术栈构建：\n\n| 组件 | 技术 | 用途 |\n|------|------|------|\n| 框架 | React 18 + Vite | 核心执行环境 |\n| 语言 | TypeScript | 强类型逻辑层 |\n| 样式 | Tailwind CSS | 响应式UI |\n| 路由 | React Router DOM | 客户端路由 |\n| 动画 | Motion (Framer Motion) | 平滑视觉过渡 |\n| 存储 | LocalStorage | 客户端持久化 |\n\n这种技术选型体现了项目对性能和用户体验的重视。Vite提供快速的开发体验，TypeScript确保代码质量，Tailwind CSS实现灵活的样式系统，而Framer Motion则为界面增添了专业级的动画效果。\n\n---\n\n## 使用场景与实践价值\n\n### 模型选型与评估\n\n当团队需要为特定应用场景选择合适的大模型时，Duplex提供了一个理想的测试平台。开发者可以准备一组代表性的提示词，同时发送到候选模型，通过对比输出质量、响应速度和成本来做出明智的决策。\n\n### 提示词工程优化\n\n提示词工程是一门需要反复试验的艺术。Duplex让提示词工程师能够即时看到同一提示词在不同模型上的表现差异，从而针对性地调整提示词结构，获得更一致、更优质的输出。\n\n### 本地与云端混合部署\n\n对于需要兼顾数据隐私和模型能力的场景，Duplex支持在同一界面中对比本地模型和云端模型的表现。这有助于确定哪些任务可以安全地在本地处理，哪些需要调用云端API。\n\n### 教学与演示\n\nDuplex的并排对比视图非常适合用于教学场景，帮助学生直观理解不同大模型的特点和局限性。它也可以作为技术演示工具，向非技术利益相关者展示AI能力的多样性。\n\n---\n\n## 部署与使用\n\nDuplex项目针对Netlify边缘交付进行了优化，包含预配置的`netlify.toml`文件处理单页应用路由。用户只需几步即可完成部署：\n\n1. 克隆仓库并安装依赖\n2. 运行`npm run dev`启动开发服务器\n3. 如需使用本地Ollama，配置`OLLAMA_ORIGINS=\"*\" ollama serve`\n4. 推送到GitHub并导入Netlify自动部署\n\n对于本地Ollama的支持，项目文档特别提醒用户需要配置跨域请求，这体现了开发者对安全性的重视。\n\n---\n\n## 开源生态与许可\n\nDuplex采用MIT许可证开源，允许用户自由分叉、修改和使用。项目维护者特别强调，虽然欢迎社区贡献，但请不要将项目重新品牌化后声称为原创工作，适当的署名是对开源精神的尊重。\n\n---\n\n## 总结与展望\n\nDuplex代表了AI工具发展的一个重要方向：在享受大模型能力的同时，保持对数据的完全控制。它的多模型并行推理能力不仅提升了开发效率，也为模型评估和选型提供了科学依据。\n\n随着本地大模型（如Llama、Mistral等）能力的不断提升，以及云端API的日益丰富，Duplex这类工具的价值将愈发凸显。它让开发者不再需要在"本地"和"云端"之间做非此即彼的选择，而是能够灵活组合、按需调用，真正实现"鱼与熊掌兼得"。\n\n对于关注AI应用开发、提示词工程或模型评估的技术人员而言，Duplex无疑是一个值得深入探索和贡献的开源项目。