LLM Distillery：将大模型知识蒸馏为高效专用分类器的开源框架

本文介绍开源框架LLM Distillery，通过知识蒸馏技术将Gemini Flash等大模型的判断能力迁移至轻量级本地模型（如Qwen2.5-1.5B），实现成本降低100倍、推理速度提升50倍的效果。该框架适用于内容过滤、多维度评分及层级分类等场景，为生产环境中大模型应用提供了高效解决方案。

大语言模型（LLM）在复杂判断任务中表现优异，但生产部署时面临成本高昂、推理速度慢的问题。LLM Distillery通过知识蒸馏，将大模型的专业知识迁移到小型专用模型，在保持判断质量的同时，大幅降低运行成本和延迟。

LLM Distillery的核心流程包括：1. 使用Gemini Flash作为"Oracle"生成带维度评分的训练数据集；2. 基于Qwen2.5-7B-Instruct进行多维度回归微调；3. 全面数据验证确保质量；4. 本地部署实现快速批量推理。2025年11月完成架构统一化：Oracle仅输出维度评分（0-10分）和推理过程，层级分类由后过滤器（postfilter）完成，可灵活调整分类阈值无需重新标注数据。

截至2025年11月，项目已部署多个过滤器：

• 可持续技术过滤器（sustainability_technology v1）：基于LCSA框架评估6个维度，采用Qwen2.5-1.5B+LoRA微调（1850万参数），测试MAE为0.690；
• uplifting v5：评估6个积极影响维度，同样基于Qwen2.5-1.5B+LoRA，验证MAE为0.681，设证据守门人机制限制推测性内容评分上限至3.0；
• 投资风险过滤器（investment-risk v4）：涵盖8个维度，已准备4880条验证数据，理念为"无法预测崩盘，但可做好准备"。

项目提供完整数据工具链：

1. prepare_data.py：支持分层抽样，将数据分为训练集（80%）、验证集（10%）、测试集（10%）；
2. validate_training_data.py：检查结构完整性、数据分布、标签质量等；
3. deduplicate_training_data.py：移除跨分割重复数据；
4. 自动生成验证报告保存至过滤器目录。

训练阶段使用Qwen2.5-7B-Instruct作为基础模型，需16GB+显存GPU（如RTX4090/A100），训练时间约2-4小时。训练完成后可部署到本地环境实现高速批量推理。此外，项目提供开发工具（如过滤器开发指南智能体、协调智能体）及包含40.2万篇文章的主数据集（2025年10-11月）。

项目下一步计划包括：训练剩余的投资风险过滤器（investment-risk v4），构建生产部署用的批量处理管道以支持高容量评分需求。随着更多过滤器的开发，LLM Distillery有望成为内容评估与分类领域的重要开源工具。