LeakBench：揪出LLM"考试作弊"的法证工具

LeakBench是一款用于检测大语言模型（LLM）基准测试数据污染的开源工具，通过统计检验方法识别模型是否在训练中“见过”测试数据，解决基准测试可信度下降的问题，为LLM评估提供“法证”保障，推动AI评估透明化与标准化。

LLM能力评估依赖GLUE、SuperGLUE、HumanEval、MMLU等基准测试体系，但数据污染问题侵蚀评测可信度：训练数据可能包含测试集（直接泄露）、相似文本（间接泄露）或任务说明（任务描述泄露），如同学生提前拿到考题，成绩无法反映真实水平。

LeakBench通过四种统计检验方法检测污染：

1. 困惑度分析：对比测试集与干净参考集的困惑度分布，低困惑度暗示污染；
2. 前缀完成测试：截取测试样本前缀让模型续写，匹配真实后缀程度反映熟悉度；
3. 成员推理攻击：分析输出置信度分布，训练样本更“自信”；
4. 多模型一致性检验：对比独立模型表现，异常优势可能源于污染。

LeakBench的应用场景包括：

1. 模型发布自检：开发者检查模型是否意外污染，维护评估公正性；
2. 第三方模型审计：下游用户验证模型基准分数真实性；
3. 基准测试优化：维护者识别泄露样本，改进数据集构建；
4. 学术研究验证：研究者证明性能提升来自方法创新而非污染。

使用LeakBench需注意：

1. 统计阈值问题：检测结果是概率性的，需权衡假阳性/阴性风险；
2. 对抗性规避：恶意者可能通过降权/遗忘学习规避检测；
3. 新型污染形式：需持续更新方法应对隐蔽污染；
4. 黑盒模型限制：闭源模型无法获取内部状态，检测能力受限。

LeakBench开源推动LLM评估透明化与标准化，为建立可信的模型能力评估体系提供技术基础。在AI快速发展的今天，可靠的评估方法与优秀模型同样重要，LeakBench是这一方向的关键一步。