Framework Desktop推理极限探索：Strix Halo平台的大模型优化实战

本研究项目针对AMD Strix Halo架构的Framework Desktop平台，结合RTX3090通过llama.cpp RPC开展大模型推理优化，完成34项任务，涵盖KV缓存压缩、投机解码、异构RPC推理等前沿技术，探索桌面级LLM推理极限，挑战传统数据中心GPU依赖的格局。

研究背景

随着LLM规模增长，推理效率成为落地瓶颈，传统依赖昂贵数据中心GPU；AMD Strix Halo架构的Framework Desktop（Ryzen AI MAX+395、Radeon8060S iGPU、128GB统一内存）为桌面级推理提供理想平台。

测试环境

• 主节点：Framework Desktop（Ryzen AI MAX+395、Radeon8060S、128GB LPDDR5X、Vulkan/ROCm后端）
• companion节点：RTX3090（24GB GDDR6X、CUDA12.8）
• 软件栈：llama.cpp（b8775/b8779）、RPC over Wi-Fi

关键任务探索

1. KV缓存：测试14种Pareto最优配置，平衡上下文长度与速度
2. 投机解码：用0.8B草稿模型加速122B目标模型，提升1.98倍解码速度
3. 并行吞吐量：npl=8时聚合吞吐量提升2.21倍
4. 综合优化：Q4_K_M量化+ubatch=2048+并行槽位，达60.54 tok/s聚合吞吐量
5. 热持续性：60分钟运行吞吐量漂移仅-0.08%
6. 异构RPC：分割Qwen3.5-122B模型到AMD+NVIDIA GPU，解码速度仅降4.3%

技术深度

• 统一内存架构：共享128GB内存，支持更大模型与零拷贝传输
• rocWMMA Flash Attention：降低内存带宽需求
• 混合精度量化：建立量化级别与质量权衡曲线
• NPU实验：探索神经网络处理单元在LLM推理的潜力

核心数据

• Phase0：ROCm+MMQ预填充406 tok/s，解码40.1 tok/s，聊天负载比Vulkan提升47%
• Mission01：f16/f16 KV精度支持131K tokens上下文，预填充152.76 tok/s
• Mission34：成功加载129GB MiniMax-M2.5模型（RTX3090占22.1GB、Radeon8060S占109.5GB）

可复现性设计

• 环境变量驱动配置
• 任务级详细文档
• 原始数据（JSON/CSV）公开
• 可运行测试脚本开源（MIT许可证）

核心结论

1. 桌面级集成GPU平台可胜任严肃大模型推理，128GB统一内存支持100B+参数模型
2. 异构RPC推理验证跨厂商GPU协作可行性
3. 向llama.cpp上游提交修复与优化建议

行业意义

• 推动AI民主化：降低本地推理成本，支持隐私敏感/离线场景
• 示范异构计算：为超大规模模型推理提供新思路
• 开源贡献：公开数据与脚本，助力社区发展

当前局限

1. Wi-Fi RPC引入延迟，有线连接或提升性能
2. ROCm生态成熟度不及CUDA
3. 长时间高负载对散热提出挑战

未来方向

1. 扩展测试Llama3、Qwen3等最新模型
2. 探索GGUF新量化方案
3. 尝试多节点RPC集群
4. 开发Strix Halo专属部署工具链