Gemma 4 on DGX Spark：ARM64边缘推理的量化实践与性能剖析

本文围绕Google Gemma4系列模型与NVIDIA DGX Spark（GB10）硬件的结合展开，通过开源项目gemma4-llama-dgx-spark，解析如何在ARM64架构上利用llama.cpp实现高效量化推理，探讨MoE模型的激活参数奥秘，并进行多维度性能基准测试，最终提供部署建议与最佳实践。

Gemma4家族定位

Gemma4系列含四个模型：E2B/E4B（高效轻量，无思维链能力）、26B-A4B（MoE架构，252.3亿总参数但仅激活40亿）、31B（全密集，307亿参数全计算）。

DGX Spark硬件特点

DGX Spark（ASUS Ascent GX10）搭载Grace Blackwell SoC，采用ARM64架构，面临二进制不兼容、源码编译复杂等挑战，但统一内存架构消除PCIe传输瓶颈。项目提供Docker化解决方案适配ARM64。

量化格式选择

• E2B/E4B推荐Q4_K_M（平衡速度与质量）
• 26B-A4B推荐Q5_K_M（平衡质量与速度）
• 31B推荐Q6_K/Q8_0（追求高质量）

Docker容器化部署

基于ARM64 CUDA 13镜像编译llama.cpp（启用CUDA），容器提供OpenAI兼容API端点，支持chat.completions和completions接口。

基准测试维度

1. 单序列吞吐量：E2B/E4B达数十t/s，31B降至个位数
2. 上下文窗口扩展：随长度增加性能下降
3. 多用户并发：统一内存架构降低切换开销
4. 思维链时序：测量首token延迟、链长度及转换时间

MoE模型性能

26B-A4B激活8/128专家，内存需加载全参数但计算仅40亿，延迟低于E4B，吞吐量高于31B，质量接近31B，是综合最佳选择。

模型选择决策树

• 嵌入式/边缘：E2B
• 低延迟交互：E4B
• 通用生产：26B-A4B
• 高质量离线：31B

量化配置表

模型	推荐量化	显存占用	预期速度
E2B	Q4_K_M	~1.5GB	30-50 t/s
E4B	Q4_K_M	~2.5GB	20-35 t/s
26B-A4B	Q5_K_M	~16GB	10-20 t/s
31B	Q6_K	~24GB	5-10 t/s

Docker资源限制

合理设置容器内存限制，避免单实例占用过多资源。

gemma4-llama-dgx-spark项目展示了边缘部署大模型的完整技术路径（ARM64适配、量化压缩、性能测试）。随着边缘AI设备普及，大模型将从云端走向终端，催生离线助手、本地知识库等场景，掌握边缘部署技术将成为AI工程师必备技能。