Client-Assisted LLM：客户端辅助推理降低云端大模型成本与延迟

该项目探索一种混合推理模式，让客户端设备参与LLM推理过程：通过本地草稿模型生成token候选，云端验证模型进行确认，从而减少服务器GPU成本和网络延迟，充分利用现代客户端设备的计算能力。

云端依赖的问题

完全依赖云端API的LLM服务存在两大痛点：

• 高昂服务器成本：云端GPU资源昂贵，每次推理消耗大量计算资源；
• 网络延迟：客户端需等待云端完成全部生成，响应时间长影响体验。

客户端算力未被利用

现代笔记本GPU/NPU性能提升，但多数LLM API仍将客户端视为终端，未充分利用本地算力。

项目目标

解决上述矛盾，通过客户端参与云端生成过程，分担服务器负载，降低成本与延迟。

基本工作流程

1. 本地草稿模型生成token ID草稿序列；
2. 云端验证模型检查草稿token；
3. 接受匹配的token，无需重新生成；
4. 从第一个不匹配位置，服务器接管继续生成。

与推测解码的区别

• 传统推测解码：草稿模型运行在服务器内部，客户端被动等待；
• 客户端辅助推理：草稿模型运行在用户设备上，主动参与生成，充分利用客户端算力。

模型组合测试

测试了两种跨模型组合：

• 组合1：SmolLM2 135M Instruct（草稿）→ SmolLM2 360M Instruct（验证）
• 组合2：Qwen2.5 0.5B Instruct（草稿）→ Qwen2.5 1.5B Instruct（验证）

不同窗口大小的接受率

模型组合	window=1	window=2	window=4	window=8
SmolLM2 135M→360M	76.2%	67.0%	51.7%	34.0%
Qwen2.5 0.5B→1.5B	59.1%	45.4%	29.8%	18.9%

结论：窗口越小，接受率越高，window=1时均超50%。

自适应窗口策略

模型组合	自适应接受率	每窗口接受token数
SmolLM2 135M→360M	55.2%	1.49
Qwen2.5 0.5B→1.5B	52.7%	0.87

自适应策略保持50%+接受率，实用性良好。

验证机制可靠性

同模型验证时接受率达100%，证明测量逻辑正确：

运行类型	草稿模型	验证模型	加权接受率
同模型验证	SmolLM2-135M	SmolLM2-135M	100.0%

窗口大小的权衡

• 小窗口（1/2）：接受率高（50%-76%），但验证往返次数增加，网络RTT影响大；
• 大窗口（8）：减少往返次数，但接受率显著下降（19%-34%），草稿质量不稳定。

实际部署考量

需综合：

• 延迟因素：网络RTT、本地生成时间、云端验证时间；
• 效率因素：验证器批处理效率、客户端资源占用、服务器负载均衡；
• 自适应策略：动态调整窗口大小、优化参数、实时监控反馈。

边缘计算优化

移动设备利用本地NPU生成草稿，云端仅验证部分生成，降低响应延迟。

成本敏感应用

减少云端GPU调用次数，降低API费用，优化成本结构。

隐私保护场景

本地完成大部分推理，仅必要部分发送云端，减少数据传输与暴露风险。

当前局限

• 封闭API不支持：非OpenAI等封闭API包装器，需开源模型栈；
• 模型匹配要求：草稿与验证模型需兼容，跨架构/数据组合效果不佳；
• 网络依赖：仍需网络连接验证，无法完全离线。

未来方向

• 更大规模验证：测试更大模型组合（如Qwen1.5B→3B/7B）、跨家族模型；
• 自适应算法优化：基于网络状况/输入复杂度调整策略，学习用户模式；
• 产品化探索：开发端到端原型，测量真实场景延迟成本，构建SDK。

Client-Assisted LLM展示了创新混合推理范式，通过客户端参与token生成，显著降低云端成本与延迟。实验表明，小本地模型作为草稿生成器，接受率超50%，可减半服务器工作量。

虽处于实验阶段，但核心概念与初步结果证明可行性。随着边缘算力提升与网络完善，客户端辅助推理有望成为LLM部署的重要优化方向，开辟更高效经济的AI应用路径。