LLM假新闻检测：对比DistilBERT微调与本地大模型推理

都灵大学LLM课程项目，对比测试了两种假新闻检测方案：DistilBERT编码器微调和基于Ollama的本地LLM零样本/少样本推理。

假新闻检测本质上是一个文本分类问题，但具有以下独特挑战：

• 语义复杂性：假新闻往往模仿真实新闻的写作风格，表面难以区分
• 领域多样性：涉及政治、健康、娱乐等多个领域，需要模型具备广泛的知识
• 对抗性：假新闻制造者会不断调整策略以规避检测
• 时效性：新闻事件快速变化，模型需要持续更新

该项目旨在探索：在资源受限的环境下（如个人工作站），如何有效利用LLM技术进行假新闻检测。

项目选择了 DistilBERT 作为编码器基座模型，主要基于以下考量：

• 轻量高效：相比BERT-base，参数量减少40%，推理速度提升60%，更适合本地部署
• 保留能力：通过知识蒸馏，在压缩的同时保持了97%的BERT性能
• 成熟生态：Hugging Face生态完善，微调流程标准化

项目采用了标准的监督微调流程：

1. 数据预处理：清洗文本，处理特殊字符，统一编码格式
2. 标签编码：将真假新闻标签转换为模型可理解的数字编码
3. 分层冻结：可选择冻结底层Transformer参数，仅微调分类头，加快训练速度
4. 早停机制：监控验证集损失，防止过拟合

这种方法的优势在于：一旦微调完成，推理速度快、资源占用低、结果可预测。但局限是需要标注数据，且模型能力受限于训练数据分布。

项目采用 Ollama 作为本地LLM运行环境，这带来了几个关键优势：

• 数据隐私：敏感数据无需上传云端，适合处理涉及隐私的新闻内容
• 成本可控：无需支付API调用费用，适合研究和实验场景
• 离线可用：不依赖网络连接，部署更加灵活
• 模型可选：可根据硬件条件选择不同规模的模型（如Llama 3、Mistral等）

零样本方法直接向模型提供新闻文本和分类指令，无需任何示例：

请判断以下新闻是否为假新闻。只回答"真"或"假"。

新闻内容：[待检测新闻文本]

这种方法的优点是实施简单、无需训练数据。但挑战在于：

• 模型对指令的理解可能不一致
• 缺乏领域特定知识时表现可能不稳定
• 对提示词（Prompt）设计敏感

为了提升性能，项目还测试了少样本学习方法。在提示词中加入几个标注好的示例：

以下是几个示例：

示例1："[真新闻文本]" → 真
示例2："[假新闻文本]" → 假
示例3："[真新闻文本]" → 真

现在请判断："[待检测新闻]" →

少样本方法通过提供上下文示例，帮助模型理解任务的具体要求，通常能获得比零样本更好的效果。但需要精心设计示例，且受限于上下文窗口长度。

维度	DistilBERT微调	本地LLM推理
训练成本	需要标注数据和GPU训练时间	无需训练，即开即用
推理速度	快（毫秒级）	较慢（秒级，取决于模型大小）
资源占用	低（约66M参数）	高（数B到数十B参数）
可解释性	中等（注意力可视化）	低（黑盒推理）
泛化能力	受限于训练数据分布	依赖基础模型能力，可能更好
部署难度	中等（需管理模型文件）	低（Ollama简化部署）