用大型语言模型自动评估隐私政策：一项融合LegalBERT与LLaMA的实证研究

本文介绍一项学士学位论文研究，探索利用LegalBERT（法律领域BERT变体）和LLaMA 3 8B模型对隐私政策进行自动化分类与评分，旨在解决人工审查耗时费力的问题，为隐私合规审查提供可落地的技术方案。研究对比了三种技术路线（LegalBERT微调、LLaMA 3 8B LoRA微调、零样本推理），验证了模型的有效性与泛化能力。

数字化时代隐私政策晦涩难懂，人工审查效率低且难以应对海量需求；GDPR、CCPA等法规出台后，隐私合规审查愈发重要，如何高效准确评估隐私政策成为学界与工业界的焦点问题。

核心目标是构建自动分析隐私政策、识别隐私实践类别并输出量化评分的智能系统。采用三种技术路线对比实验：1. LegalBERT在隐私政策语料库上微调；2. LLaMA 3 8B通过LoRA参数高效微调；3. LLaMA 3 8B零样本直接推理（无需训练）。

使用OPP-115语料库（115个真实网站隐私政策，标注为8类隐私实践：第一方信息收集与使用、第三方信息收集与使用、信息共享与披露、用户选择与访问权限、数据保留与删除、安全保护措施、政策变更通知机制、儿童隐私保护）；预处理含频率分析、标注整合（0.75阈值）及数据集划分。LegalBERT作为基线模型，监督学习识别隐私实践特征；LLaMA 3 8B用LoRA微调，0.5epoch（checkpoint-100）达最佳性能，避免过拟合。

设计基于规则的评分管道：先识别每个隐私实践类别的最佳属性值，再综合为0-10分的总体隐私友好度分数（分数越高保护越完善、透明度越高）。聚合策略不仅关注是否提及某类实践，还考量具体表述方式（如数据共享条款的明确性）。

零样本推理无需标注数据与训练，实用价值高（适合资源有限或快速验证场景）；泛化测试将模型应用于现代隐私政策文本，验证真实场景表现（OPP-115数据集为2016年，需适配当前政策变化），要求文本以"|||"分隔片段并提供标注文件。

为隐私政策自动化评估提供系统性方案，揭示领域专用模型与通用大模型的差异与适用场景。应用场景包括企业合规自查、监管审查辅助、用户权益保护、学术研究工具。未来可探索多语言评估、动态政策监测、知识图谱语义推理等方向。