MIN-K% Prob方法复现：检测大语言模型预训练数据中的成员推断攻击

本文是对ICLR 2024论文《MIN-K% Prob方法》的完整复现与扩展分析，验证了该方法在成员推断攻击中的有效性，发现模型规模与文本长度对检测质量有显著影响。研究围绕大语言模型预训练数据的隐私安全问题展开，通过黑盒分析模型概率分布实现成员关系判断，为模型审计与隐私保护提供了实用工具。

随着大语言模型应用普及，成员推断攻击（MIA）成为关键隐私问题：给定文本和模型黑盒访问权，判断文本是否属于预训练数据。传统MIA方法需参考模型或训练语料，实际应用受限。2024年ICLR论文提出的MIN-K% Prob方法突破此限制，仅通过分析模型对"困难token"的概率分布即可判断成员关系。

MIN-K% Prob基于观察：预训练见过的文本（成员）与未见过的文本（非成员）概率分布存在差异。非成员文本会出现概率异常低的"离群token"，成员文本则无此现象。算法流程：1. 获取文本每个token的条件对数概率；2. 选取概率最低的k%个token；3. 计算这些token的平均对数似然作为检测分数——分数越接近0越可能是成员，越负越可能是非成员。

复现使用Google Colab免费T4 GPU环境，完成5个递进实验。模型采用EleutherAI的Pythia家族（70M到2.8B参数），评估基准为WikiMIA：成员数据来自2017年前维基百科文章（Pythia预训练可见），非成员数据来自2023年后事件文章（模型未见过），时间分割确保评估公平可靠。

1. 微调对比验证MIN-K%基本有效性：模型可区分微调文章与未见过文本；2. 与基线方法（PPL、Zlib熵）对比，MIN-K%在手写数据集上持续优于基线；3. WikiMIA基准中Pythia-2.8B取得AUC=0.5956（低于论文0.67，但因样本量小、资源有限，趋势与论文一致，证明可复现性）。

超参数扫描发现：较小模型最优k值为10%（论文大模型为20%），k值选择对模型规模敏感；多模型研究证实检测质量与模型规模、文本长度正相关——更大模型记忆能力强，更长文本提供更多信号，增强检测显著性。

优势：黑盒友好，无需参考模型或训练数据，仅需概率输出即可工作，实用价值高。局限性：1. 检测准确率仍有提升空间（AUC约0.6）；2. k值最优选择依赖模型规模，增加部署复杂度；3. 指令微调或RLHF模型的适用性需进一步验证。

隐私启示：为开发者提供审计工具检测敏感数据，也揭示模型记忆脆弱性；合规性方面，成员推断检测工具将成模型合规组成部分，需平衡性能与隐私（如差分隐私训练、数据去重）。开源贡献：项目以MIT许可证开源，提供完整Notebook实现、代码、可视化与文档，促进学术复现与社区改进，为MIA研究者提供起点。