RepoReasoner：评估大语言模型在代码仓库级别推理能力的自动化基准测试框架

RepoReasoner是针对大语言模型在真实代码仓库粒度上推理能力的自动化基准测试框架，填补了现有函数级代码评估基准的空白。该框架支持输出预测和调用链预测两大核心任务，从微观和宏观维度评估模型在贴近实际开发场景的代码理解能力。

当前大语言模型代码能力评估基准主要集中在函数级别，忽略了真实开发中跨越多个文件、模块的仓库级复杂依赖关系。为填补这一空白，DeepSoftwareAnalytics团队开发RepoReasoner，从真实开源Python仓库自动生成测试实例。

RepoReasoner设计两种仓库级推理任务：

1. 输出预测任务：给定掩码代码片段及上下文文件，预测被掩码断言语句的正确输出，考验变量状态和执行路径推理能力；
2. 调用链预测任务：给定测试文件，预测测试执行时调用的其他源文件列表，侧重宏观代码依赖理解。

RepoReasoner的自动化基准构建流水线包含四个阶段：

1. 仓库筛选过滤：筛选具有足够复杂度和测试覆盖率的开源Python仓库；
2. 基于执行的过滤：容器化环境验证仓库，收集动态运行时信息确保参考答案可靠；
3. 语义数据重写：生成语义等价但语法不同的代码变体，增强数据集鲁棒性；
4. 实例收集整理：从测试文件提取并过滤潜在实例，形成最终评估数据集。

RepoReasoner支持多种模型评估方式：

• 兼容OpenAI API接口，可接入GPT-4、Claude等商业模型；
• 支持通过Hugging Face加载本地模型，满足隐私需求；
• 集成BM25检索机制，支持检索增强的上下文生成。

RepoReasoner的价值包括：

1. 提供贴近真实开发场景的评估标准，识别优秀模型；
2. 自动化特性支持持续评估新模型，快速获取最新表现数据；
3. 揭示仓库级推理能力差距，为模型改进指明方向。

使用RepoReasoner的步骤：

1. 准备Python 3.8+环境和Docker容器运行时；
2. 安装依赖并放置目标Python仓库到指定目录；
3. 配置API密钥（API模型）或加载本地模型（Hugging Face）；
4. 运行输出预测或调用链预测脚本，结果自动保存。

RepoReasoner将大语言模型代码能力评估从函数级别拓展到仓库级别，为理解和改进模型在真实开发场景的表现提供新视角和工具。随着代码智能技术发展，此类精细化评估框架将推动技术进步。