假新闻检测技术演进：从传统机器学习到Transformer再到大语言模型的对比实验

本项目基于4万条新闻记录，系统性对比传统机器学习（SVC、XGBoost、MLP）、Transformer微调（DistilBERT）和大语言模型提示三种技术路线在假新闻检测任务上的表现，完整呈现NLP技术从经典到前沿的发展脉络，为技术选型提供参考。

信息爆炸时代，假新闻传播引发社会问题，AI自动识别成为NLP重要方向。开发者caemanuela在GitHub发布开源项目，不只是训练分类器，而是对比三代NLP技术表现，用4万+新闻记录和三个Notebook实现不同方法，直观展示技术演进。

项目使用4万+标注新闻（含标题、正文、真假标签），预处理包括去除HTML/特殊字符、小写转换、分词停用词过滤；传统ML额外提取TF-IDF特征（词汇表大小和n-gram影响性能）。

对比SVC（核方法）、XGBoost（梯度提升树）、MLP（浅层神经网络）；特征用TF-IDF+统计特征（文本长度、标点密度）；调优后均达较高准确率，证明经典方法仍有竞争力。

选用DistilBERT（轻量版BERT，保留97%性能，参数量减40%），通过微调迁移通用语言能力到假新闻检测；用学习率预热+线性衰减防止过拟合；上下文感知表示优于传统TF-IDF，精确率召回率更高。

无需训练/微调，通过提示词引导LLM判断；尝试零样本、少样本、思维链提示（思维链效果更好）；优势是低部署门槛、灵活，局限是推理成本高、输出不稳定、对提示敏感；部分场景表现惊喜但一致性和成本不及微调。

传统ML依赖人工特征，成本低可解释但语义捕捉有天花板；Transformer微调性能突破但需标注数据和GPU；LLM提示门槛低但运行成本高。选型需看场景：批量处理选传统，高精度选Transformer微调，快速验证选LLM提示。

项目提供技术选型参考框架，需综合准确率、延迟、成本等维度；开源性质便于复用和改进，推动技术进步；技术选择应合适而非越新越好。