CogLang Drug Distill：端侧大模型蒸馏与语法约束的安全查询系统

该项目由zhpy2004在GitHub发布（链接：https://github.com/zhpy2004/coglang-drug-distill），演示如何将大模型知识蒸馏到1.5B参数小模型，通过QLoRA微调、GGUF量化和GBNF语法约束，在1GB内存设备上实现药物安全图的CogLang查询生成。项目打通从数据生成到端侧部署的完整链路，为端侧AI应用提供可复用蓝图。

随着LLM能力提升，端侧部署成为热点，但云端推理存在延迟高、隐私风险、离线不可用等问题。端侧运行大模型面临四大挑战：内存限制（手机仅1-2GB留给AI）、算力限制（移动端硬件弱于数据中心）、功耗限制（持续推理耗电快）、安全限制（医疗领域需零幻觉可审计）。本项目针对这些挑战提供技术演示。

核心架构为教师-学生蒸馏流水线：

1. 教师模型（如DeepSeek）生成带自验证的药物领域问答对；
2. QLoRA微调：冻结原模型权重，训练低秩适配器，8GB显存8分钟完成1.5B模型微调；
3. GGUF量化：转换为Q4_K_M格式，模型大小935MiB（约1GB）；
4. GBNF语法约束：强制输出符合CogLang语法的查询，保证语法正确、简化语义学习、支持安全审计。 CogLang是图优先中间语言，原生支持节点/边操作，内置审计功能。

选择药物安全领域（高风险、结构化数据、查询复杂），构建含20节点21边的药物相互作用图谱。安全设计：小模型仅生成CogLang查询，事实存储于图谱，由查询引擎检索答案，神经符号混合架构消除幻觉风险。

实验数据：

评估场景	配置	通过率
OOD测试集	Q4+GBNF+SYSTEM_v6d	80%（8/10）
真实用户提示（fewshot_v0）	+少样本	~47%（9/19）
真实用户提示（fewshot_v1）	+优化少样本	~68%（13/19）
危险写入	防护+少样本	0
关键发现：提示工程重要性；少样本优化提升显著；安全护栏有效阻止危险操作。

训练经验：

1. 聊天格式SFT必须设置completion_only_loss=True；
2. 小数据场景下teacher-forcing eval_loss参考价值低；
3. 优先尝试提示工程而非重新训练。 移动端部署：Android（Termux+llama.cpp）验证，速度约27token/秒，选择llama.cpp而非MLC-LLM有详细说明。

局限：项目为学习/研究演示，药物图谱非权威，含医疗免责声明。未来计划：v6重训练修复失败模式；支持多轮Agent循环处理推理类查询。

项目展示端侧AI工程范式：打通完整链路，核心价值包括可复现性（完整代码与日志）、可测量性（明确指标）、安全性（零幻觉）、实用性（移动端验证），是LLM端侧部署的极佳参考实现。