多级标注者建模：提升AI评估可复现性的统计方法

生成式AI模型的广泛应用使得评估的可复现性成为关键问题。本研究针对AI评估中的标注者变异问题，提出多级自助采样方法建模标注者行为，分析项目数N与每项目标注数K的权衡关系，为生成式AI模型的可靠评估和统计显著性达成提供方法论指导，旨在解决AI领域的可复现性危机。

AI评估在模型选择、安全审核、性能监控和研究进展衡量中至关重要，但当前面临可复现性危机：结果不一致、基准退化、评估偏差、标注噪声。人工评估作为黄金标准却存在主观性、偏见差异、高成本和规模限制（通常每项目仅3-5个标注）等两难问题。

研究识别出关键空白：缺乏数据研究标注者池扩大对可复现性的改善。现有实践局限包括：少量标注难以捕捉真实变异、匿名标注无法建模个体行为，导致无法估计一致性、识别系统性偏见及预测增加标注者的效果。

提出多级自助采样方法，核心思想是建模标注变异的多个层次（项目层、标注者层、项目-标注者交互、随机误差）。与传统自助采样不同，它承认数据层次结构（标注嵌套于项目、标注者跨项目一致性），实现包括项目采样、标注者采样、响应采样三层，以估计不同设计参数下的评估可靠性。

分析固定预算下N（项目数）与K（每项目标注数）的权衡：1. K的边际效益递减；2. 增加N比K更提升泛化能力；3. 最优组合依赖任务。当前标准实践（N数百、K3-5）常不足以达统计显著性，标注者变异被低估。

研究对实践的启示包括：收集标注者持久标识符；记录标注时间、背景、置信度等元数据；采用适应性采样（如争议项目增加K）；报告不确定性估计（置信区间、功效分析等）。

局限包括：需大量标注和持久标识符的数据集、计算成本高、假设标注者行为稳定。未来方向：动态建模标注者行为、主动学习选择项目/标注者、偏见校正、跨任务迁移模型。