LabelFusion：融合大语言模型与传统机器学习的智能文本分类方案

LabelFusion 是一个创新的 Python 包，通过可训练的神经网络将大语言模型与传统 Transformer 分类器智能融合，在 AG News 和 Reuters-21578 数据集上实现了 92% 以上的准确率，且仅需 20% 训练数据即可达到接近完整数据的性能。

文本分类是自然语言处理中最基础也最重要的任务之一，广泛应用于新闻分类、情感分析、主题标签等场景。传统的基于 Transformer 的模型（如 BERT、RoBERTa）虽然在许多任务上表现优异，但在处理复杂语义和罕见类别时仍有局限。而大语言模型（如 GPT、Gemini、DeepSeek）虽然具备强大的推理能力，但 API 调用成本高昂且响应延迟较大。

LabelFusion 的核心理念是：与其在两种方案中二选一，不如让机器学习模型学习如何最优地融合两者的预测结果。这种"学习融合"（Learned Fusion）的方法，通过一个轻量级的神经网络层，动态调整 ML 模型和 LLM 的权重分配，从而在不同数据分布下都能获得最佳性能。

LabelFusion 的技术架构包含三个关键层次：

第一层：多源预测生成。系统同时调用传统 ML 模型（基于 RoBERTa 的分类器）和大语言模型 API（支持 OpenAI GPT、Google Gemini、DeepSeek 等主流提供商）生成初始预测。每种模型都有其擅长的领域——ML 模型在结构化、高频出现的模式上表现稳定，而 LLM 在处理复杂语义和边缘案例时更具优势。

第二层：可训练融合网络。这是 LabelFusion 的创新核心。FusionMLP 是一个轻量级的神经网络，它接收来自 ML 模型和 LLM 的预测分数，学习如何最优地组合它们。与简单的投票或加权平均不同，这个融合层可以根据输入特征动态调整权重，实现真正的自适应融合。

第三层：智能优化与校准。系统采用不同的学习率策略分别优化 ML 骨干网络和融合层，确保两者都能充分训练。同时，通过温度缩放（Temperature Scaling）和等渗回归（Isotonic Regression）进行概率校准，使输出概率更加可靠。

LabelFusion 在多个标准数据集上进行了严格评估，结果令人印象深刻。在 AG News 数据集（5000 个测试样本）上，融合模型达到了 92.4% 的准确率，相比单独的 RoBERTa（92.2%）和 OpenAI API（85.3%）都有显著提升。

更值得关注的是其数据效率表现。实验显示，仅使用 20% 的训练数据（800 条样本），融合模型就能达到 92.2% 的准确率，几乎与使用 100% 数据训练的效果相当。相比之下，单独使用 RoBERTa 在 20% 数据上只能达到 89.8%，而 OpenAI API 仅为 85.1%。这意味着 LabelFusion 可以用更少的数据达到更好的效果，对于数据稀缺的场景极具价值。

在 Reuters-21578 数据集（单标签 10 类子集）上，融合模型在完整数据上达到 92.3% 的准确率，显著超越 RoBERTa（89.0%）和 OpenAI（88.9%）。这证明了该方法在处理类别不平衡的真实世界数据时同样有效。

除了多分类任务，LabelFusion 还支持多标签分类（Multi-label Classification），即在一条文本上同时预测多个标签。在 GoEmotions 数据集（28 种情感标签）上的测试表明，融合方法在处理细粒度、多维度标签时同样具有优势。

从工程角度看，LabelFusion 提供了多项实用特性：

• API 响应缓存：自动磁盘缓存机制，避免重复调用 LLM API，显著降低成本
• 异步支持：异步 LLM API 调用，提升大批量处理的吞吐量
• 结果管理：内置实验追踪、指标记录和预测结果管理
• 一键式接口：AutoFusionClassifier 提供简洁的单行配置接口，降低使用门槛

LabelFusion 的安装和配置非常简洁。用户只需几行代码即可完成从配置到预测的完整流程：

from textclassify.ensemble.auto_fusion import AutoFusionClassifier

config = {
    'llm_provider': 'deepseek',  # 或 'openai', 'gemini'
    'label_columns': ['positive', 'negative', 'neutral']
}

classifier = AutoFusionClassifier(config)
classifier.fit(your_dataframe)  # 同时训练 ML 骨干和融合层
predictions = classifier.predict(test_texts)

该项目特别适合以下场景：

1. 标注数据有限：当训练样本不足时，融合方法能更高效地利用现有数据
2. 成本敏感应用：通过智能缓存和 ML 模型的主导作用，在保证性能的同时控制 API 成本
3. 高精度要求：需要超越单一模型性能上限的关键业务场景
4. 快速原型开发：简洁的 API 设计让开发者可以快速验证想法

LabelFusion 代表了文本分类领域的一个重要发展方向——不是简单地用 LLM 替代传统模型，而是通过智能融合实现优势互补。这种方法既保留了 ML 模型的效率和可控性，又充分利用了 LLM 的推理能力，同时通过可训练的融合层实现了动态优化。

对于正在探索如何在自己的项目中有效使用大语言模型的开发者来说，LabelFusion 提供了一个经过验证的架构参考。它的开源实现和详尽的实验数据，也为相关研究提供了有价值的基准。