CoCoReviewBench：面向完整性与正确性的AI审稿人评测基准

本文介绍CoCoReviewBench，一个针对AI审稿系统的全新评测基准，通过关注完整性和正确性而非简单的人类评审重叠度，解决当前AI审稿评估中的核心问题，并基于ICLR和NeurIPS的3900篇论文构建可靠评测体系。该基准为AI审稿技术研发提供了新的评估范式。

随着大语言模型能力提升，AI辅助论文审稿成为热点，但科学评估AI审稿表现仍是难题。现有指标多衡量AI评审与人类评审的文本重叠度，存在根本性缺陷：人类评审可能仅覆盖部分关键问题或包含错误判断，AI模仿表面特征会掩盖其局限性，阻碍技术健康发展。

CoCoReviewBench核心创新在于提出完整性（Completeness）和正确性（Correctness）两个独立评估维度。完整性关注AI是否涵盖论文所有关键问题，通过类别特定子集构建避免人类评审遗漏强加为AI错误；正确性关注AI指出的问题是否真实合理，利用审稿人-作者-元评审讨论链的专家标注过滤不可靠内容。

该基准整合ICLR和NeurIPS两大顶级会议的3900篇论文及相关评审数据，规模在同类基准中领先。数据集构建考虑领域多样性和评审质量筛选，确保评测结果的可靠性和泛化性。

基于CoCoReviewBench的分析揭示：当前AI审稿系统在正确性上存在明显局限，易产生幻觉问题（指出不存在的缺陷），复杂技术论文中尤为突出；推理模型相比传统直接生成模型在评审质量上表现更佳，增强推理能力是提升审稿质量的关键路径。

CoCoReviewBench的发布为AI审稿技术提供可靠评估工具，建立从模仿人类转向追求实质质量的新评估范式，加速AI辅助审稿系统实用化，使其成为减轻审稿人负担、提升评审质量的得力工具。

研究团队已开源基准数据集和评测模型，为学术界和工业界后续研究提供资源。开放态度有助于形成良性技术生态，推动AI审稿技术从实验室走向实际应用，社区可基于此开展算法改进、模型比较和方法论研究。

基于初步结果，未来研究可探索：如何减少AI审稿中的幻觉问题？如何设计更有效的推理机制增强模型对复杂技术内容的理解？如何平衡审稿的完整性与精确性？CoCoReviewBench为这些研究提供坚实起点。