Gemma 4纯文本量化流水线：本地部署多模态大模型的轻量级方案

本项目针对Gemma4多模态模型本地部署资源受限问题，提供完整Python流水线：剥离视觉分支保留纯文本能力，转换为GGUF格式并量化至4位精度，最终在Ollama实现本地高效运行。核心价值在于让先进大模型能在消费级硬件（如16GB显存GPU）上流畅运行，支持恢复式构建，提升本地部署可行性。

随着多模态模型（如Gemma4系列）能力增强，其大体积和高资源需求成为本地部署障碍。本项目通过剥离多模态模型中的视觉分支，仅保留文本生成能力，大幅减小体积、降低部署门槛，适用于文本交互场景用户。

流水线分两阶段：

1. 模型剥离：加载原始多模态检查点，移除视觉权重层，保留纯文本生成权重，生成config.json、safetensors权重、tokenizer及对话模板，输出剥离清单。
2. GGUF转换与量化：验证模型完整性，用llama.cpp转FP16 GGUF格式，量化至Q4_K_M（4位），生成Ollama Modelfile，可选导入Ollama并冒烟测试，输出GGUF构建清单。两阶段均记录详细环境与哈希信息，确保可复现。

部署目标：

• 生产级：Gemma4 E4B（适合16GB显存消费级GPU如RTX3080/4080）；
• 实验性：Gemma4 26B（需CPU/GPU混合执行，要求更高磁盘与内存）。 硬件要求：推荐Linux+Python3.11+，支持CUDA加速，需安装Ollama及构建工具链（git、cmake、C/C++编译器）；脚本会预检磁盘空间，避免操作失败。

核心特点：清单驱动恢复机制（可中断/恢复构建，复用已有输出）。 适用场景：

• 资源受限开发者（本地体验大模型）；
• 文本优先应用（生成、对话、推理）；
• RAG/Agent系统构建者（本地LLM后端）；
• 模型研究者（对比多模态与纯文本版本性能）。

当前局限：

• 26B版本为实验性，不适合生产部署；
• 依赖transformers、huggingface_hub、llama.cpp对Gemma4的支持，可能需修补llama.cpp转换器；
• 缓存与制品占用数十GB磁盘空间。 建议用户根据硬件条件选择部署目标，提前确认工具版本兼容性。

本项目通过系统化方法解决多模态大模型本地部署资源挑战，剥离视觉分支+GGUF量化让Gemma4在消费级硬件运行。清单恢复、资源预检、透明局限说明体现成熟工程实践，是本地探索大模型能力的实用工具。