IT工单智能分类：TF-IDF与BERT双轨方案对比实践

本项目针对IT服务管理(ITSM)领域的工单分类问题，对比了传统TF-IDF+MLP基线模型与BERT微调方案。通过结构化超参数搜索和多维度性能分析，展示了经典方法与深度学习在性能、成本、可解释性等方面的权衡取舍，为实际业务场景中的模型选择提供了参考。

任务与约束

输入为IT工单正文，输出为Incident/Request/Problem/Change四分类；仅使用正文，数据类别不平衡（Change类占10.8%），确保可复现性。

数据集特征

总样本11921条，清洗后保留body和type字段；类别分布中Change类为少数类，故采用macro F1作为主要评估指标。

方案一：TF-IDF+MLP基线

• 设计哲学：先建立轻量可解释的基准，挖掘潜力后再升级
• 超参数搜索：对比6种配置，最佳为15k特征+宽网络（512/256/128神经元）
• 模型架构：TF-IDF向量→三层全连接（带Dropout）→Softmax输出

方案二：BERT微调

• 预训练模型：bert-base-uncased
• 实验配置：CUDA训练，批次16，最大序列长度256，早停于第7轮
• 模型架构：BERT编码器→分类头（4类输出）

性能数据

模型	验证macro F1	测试macro F1
TF-IDF+MLP	82.60%	—
BERT	86.73%	83.67%

分类细节

BERT在测试集上Change类F1达0.94，Problem类仅0.65（因定义模糊）；Top-3准确率99.96%，支持混合工作流。

过拟合与手工测试

BERT第5轮验证最佳，训练后期过拟合；手工测试案例中模型对业务语义理解准确。

性能vs成本对比

维度	TF-IDF+MLP	BERT
macro F1	82.60%	86.73%
参数规模	~10万	1.09亿
推理成本	极低	较高

场景选择

• TF-IDF+MLP：资源受限、需可解释性、82%性能满足需求
• BERT：追求极致性能、GPU充足、需Top-3推荐

关键技术

• 早停机制：基于验证macro F1防止过拟合
• 分层抽样：确保训练/验证/测试集类别比例一致
• 透明文档：解释BERT加载警告，帮助用户理解

可复现性

环境配置明确（Python3.x、PyTorch等），提供Colab notebook快速运行，输出文件包括模型权重和数据集。

当前局限

仅支持英文、短文本假设、静态类别、Problem类性能待提升

未来改进

多语言支持（mBERT/XLM-R）、增量学习、主动学习、集成方法、领域预训练

本项目是教科书级的文本分类实践，方法论上坚持“基线优先”，通过系统化实验展示了简单方法与深度学习的价值。核心启示：好的实验设计比复杂模型更重要，需根据业务需求权衡性能与成本。对文本分类工程师和研究者具有重要参考意义。