LLM自动化可重复性评估：社会科学研究验证的新范式

这项研究来自arXiv 2026年6月发表的《Automated reproducibility assessments in the social and behavioral sciences using large language models》，探索用大语言模型（LLM）自动化社会科学和行为科学的可重复性评估。对76项已发表研究分析发现，LLM在定性结论一致性达96%，超越人类重新分析师的74%，为系统性审计实证结果提供可扩展新工具。

过去十年科学界面临可重复性危机，大量已发表成果难以复现，社会科学和行为科学领域尤为突出（因复杂统计方法、主观数据编码等）。传统依赖人类重新分析师，但存在资源消耗巨大、速度缓慢、难以规模化的局限，催生寻找更高效评估方法的需求。

选取76项带明确假设声明的社会/行为科学研究，评估流程：1. 获取原始研究的数据集和分析代码；2. 构建自动化流水线让LLM重新分析并计算效应量；3. 聘请专业统计学家独立重新分析；4. 对比LLM、人类结果与原始发现。评估指标：定量（效应量恢复率，Cohen's d±0.05容差）、定性（结论一致性，二元判断是否支持原始假设）。

在69项有效效应量估计的研究中：LLM效应量恢复率41%，人类34%；定性结论一致性上，LLM达96%，人类仅74%，差距显著。这反映社会科学研究效应量报告不规范问题，而非工具缺陷。

1. 减少人为错误（代码抄写、参数设置等）；2. 标准化分析流程（统一步骤避免偏离）；3. 不受认知偏差影响（无确认偏差、锚定效应）；4. 无限耐心与一致性（不因疲劳波动）。

1. 9%研究LLM无法生成有效效应量（数据复杂、方法描述不清等）；2. 依赖原始数据/代码质量；3. 黑箱问题（决策过程不透明）；4. 缺乏领域深层专业知识。

启示：可重复性评估民主化（降低成本）、系统性审计成为可能、推动研究实践标准化（数据/方法/代码规范）、人机协作新模式（LLM筛选+人类深度判断）。展望：扩展到更多学科、处理复杂实验设计、建立评估标准、整合到期刊出版流程。