PII Masking：BERT与LLM双轨并行的个人信息脱敏方案

PII Masking项目旨在对比基于编码器模型（DistilBERT、DeBERTa）微调和大语言模型（LLaMA）提示工程两种方法在PII检测与脱敏方面的效果，为隐私保护NLP任务提供完整实现参考。项目针对传统PII脱敏方法的局限，系统比较不同技术路线优劣，帮助用户根据场景选择合适方案。

随着GDPR、CCPA等数据隐私法规日益严格，企业和研究机构面临合规压力。传统方法存在局限：规则引擎依赖正则和词典，难以处理变体与新兴模式；通用NER模型对特定领域PII识别不够精准。项目目标是建立有效流水线，检测和脱敏姓名、邮箱两类常见PII，并比较不同技术方案效果。

项目实现三种方法对比：

1. DistilBERT：轻量级编码器，保留97%性能，模型小、速度快，作为资源受限场景基线；
2. DeBERTa：微软改进的BERT，解耦注意力提升词序理解，采用领域内表现最好的种子模型；
3. LLaMA：零样本提示工程，无需领域训练，利用大语言模型涌现能力。对比回答了特定任务中编码器微调与LLM通用能力的选择问题。

项目分七阶段：

1. 数据验证与预处理：修复标注格式，分割数据集，注入合成邮箱增强数据；
2. 预处理与探索性分析：转换为Hugging Face格式，处理子词分割，冒烟测试验证流水线；
3. 编码器训练：对比训练DistilBERT和DeBERTa，保存检查点；
4. LLM推理：LLaMA零样本推理，实现缓存避免重复；
5. 综合评估：计算脱敏泄漏率等指标，bootstrap统计检验；
6. 错误分析：分类错误模式，生成错误分布图表；
7. 独立评估：跨领域测试泛化能力。

项目展现良好工程实践：

• 配置集中管理：所有参数在configs目录，避免魔法数字；
• 模块化代码结构：分scripts、src、notebooks等目录，支持命令行与交互式操作；
• 可复用源模块：核心逻辑封装为模块，如数据加载、预处理、LLM推理等；
• 结果组织：输出按阶段分类，便于管理与分析。

不同场景的方案选择：

• 资源受限：DistilBERT适合边缘部署或延迟敏感应用；
• 精度优先：DeBERTa适合生产环境高准确率要求；
• 快速部署：LLaMA零样本提示适合冷启动或数据稀缺场景（需注意API成本与延迟）；
• 混合策略：轻量级编码器初步过滤+LLM二次验证，平衡成本与性能。

项目当前局限：仅专注姓名和邮箱两类PII，主要基于英文数据。未来改进方向：扩展到电话号码、身份证号、地址等更多PII类型，支持多语言PII脱敏。

PII Masking不仅提供可用的PII脱敏工具，更展示了系统性比较不同NLP技术方案的方法。方案选择需结合资源约束、精度要求和延迟容忍度。对数据隐私保护、合规文本处理或NLP模型评估的开发者，是值得参考的完整实现，其模块化设计与严谨评估可迁移到其他序列标注任务。