PII数据脱敏实战：BERT微调与零样本LLM双轨方案对比

本文介绍了一个完整的PII检测与脱敏系统，对比了微调BERT模型与零样本LLM提示工程两种技术路线，展示如何在实际场景中实现高精度姓名和邮箱地址识别与脱敏处理，为PII脱敏提供工程实践参考。

个人身份信息（PII）包括姓名、邮箱、电话等可识别个人的数据，在日志分析、客服记录、数据集发布等场景中需自动化脱敏。传统规则方法对人名识别效果差，人工审核无法应对大规模数据，深度学习方案成为主流选择。

BERT微调模型

基于bert-base-uncased微调，用WikiNeural数据集训练，通过合成邮箱数据增强（样本从28516扩充至37205条），定义5个标签类别（O/B-PER/I-PER/B-EMAIL/I-EMAIL），训练配置为3 epoch、学习率2e-5、批次8、权重衰减0.01。

零样本LLM提示工程

选用Qwen2.5-1.5B-Instruct模型，通过少样本提示实现结构化JSON输出，避免幻觉问题，后处理含幻觉过滤、邮箱修复和正则兜底。

1. 混合推理流水线：BERT方案采用正则+神经网络分层策略，兼顾规则确定性与模型泛化能力；
2. 智能分词处理：解决BERT子词分词破坏实体边界问题，确保标签与token对齐；
3. 鲁棒性增强：BERT侧有置信度过滤和标签校正，LLM侧有幻觉检测和文本替换机制。

BERT微调表现

• 准确率99.53%（token级），精确率96.98%、召回率97.31%、F1 97.15%（实体级），误报0.25%、漏报1.36%。

LLM零样本表现

指标	人名（严格）	人名（部分）	邮箱
精确率	82.93%	86.99%	83.93%
召回率	51.78%	52.71%	100%
F1	63.75%	65.64%	91.26%

综合对比

维度	BERT微调	LLM零样本
人名F1	97.15%	65.64%
邮箱F1	>99%	91.26%
需训练	是（7分钟）	否
推理速度	快（~15样本/秒）	慢（~1样本/秒）
适应性	需重训	高
幻觉风险	无	已缓解

BERT方案错误

1. 常见词误报（如“No”误判人名）；2. 分词敏感性；3. 未见过的命名模式遗漏。

LLM方案错误

1. 人名召回率低；2. 实体边界识别不精确；3. 邮箱组件混淆；4. 过度识别非人名实体。

工程实践

• 数据准备：通过命令行增强数据（python main.py augment --email-ratio 0.5）；
• 训练评估：自动化流程（python main.py train/evaluate）；
• 生产推理：支持命令行调用（python main.py predict）。

未来方向

混合系统、约束解码、模型升级（DeBERTa-v3）、概率校准、多样化邮箱生成、主动学习。

项目为PII脱敏提供完整技术选型与落地参考：追求精度选BERT微调，快速验证选LLM零样本。代码仓库结构清晰，适合作为NER和脱敏技术的实践教材。