LeetGPTSolver：系统性评测大语言模型算法解题能力的开源基准

LeetGPTSolver是一个专注于评测大语言模型在LeetCode算法挑战中表现的开源基准项目。它通过标准化测试流程评估LLM的代码生成、调试和问题解决能力，旨在为技术团队模型选型、研究者理解模型能力边界、求职者评估AI辅助学习可行性等提供客观数据支撑。该项目聚焦算法竞赛场景，对模型推理能力和代码精确性提出更高要求。

大语言模型在代码生成领域展现出惊人能力，AI编程助手正改变软件开发模式。但在算法面试场景下，不同模型解决LeetCode题目的成功率、代码质量、时间复杂度表现差异尚不明确。这些问题对技术团队选型AI工具、研究者理解模型边界、求职者评估AI辅助学习可行性均有重要参考价值，LeetGPTSolver项目由此诞生。

LeetGPTSolver是开源基准测试框架，专注评估LLM在LeetCode算法题的表现。其评测框架设计包括：

1. 题目库构建：覆盖数组、字符串等经典算法类别，难度从Easy到Hard，配有标准测试用例（含边界条件、极端输入）；
2. 模型调用与代码生成：支持接入GPT、Claude、Gemini及开源模型（如Llama），统一API接口与优化提示词（含few-shot示例）；
3. 自动化测试执行：生成代码自动编译执行，检查正确性、执行时间、内存占用，还分析代码质量（行数、圈复杂度等）；
4. 结果统计与可视化：生成详细报告（总体通过率、各难度/算法类别的表现），支持JSON、Markdown表格、可视化图表输出。

核心评测维度包括：

1. 解题成功率：统计各类题目通过比例，细分难度与算法类型，揭示模型优势与不足；
2. 代码执行效率：记录通过解法的运行时间，与最优解法理论复杂度对比；
3. 代码质量与可读性：通过静态分析评估代码风格、注释质量、变量命名等；
4. 提示词敏感性：对比zero-shot与few-shot、详细与简洁提示词的表现差异。

实际应用价值体现在：

1. 模型选型参考：为技术团队提供客观依据，反映模型代码推理能力真实水平；
2. 模型能力研究：帮助研究者分析LLM代码理解与生成机制，发现能力边界与改进方向；
3. 面试准备辅助：求职者可了解AI辅助解题边界，高效分配学习时间；
4. 教育场景应用：教师可设计合理作业与考试形式，确保学生掌握算法思维。

技术实现亮点：采用Python开发，利用Docker实现代码执行环境隔离，pytest做测试框架，matplotlib/pandas可视化；插件化设计，新增模型只需实现标准接口，评测流程高度可配置。 局限性：LeetCode算法题仅代表编程能力侧面，无法覆盖真实开发中的可维护性、架构设计等方面。

未来计划扩展评测范围，包括系统设计题目、代码审查任务、真实开源项目bug修复等更贴近实际工作的场景。同时欢迎社区贡献更多题目和模型支持，共同完善这一开源基准。