对话式编程评估：当AI遇上代码理解，我们如何验证学生真正学会了？

本文聚焦LLM时代编程教育的新困境——学生可借助AI生成正确代码却缺乏真正理解（"非生产性成功"）。传统自动编程评估系统（APAS）难以应对这一挑战，因此研究提出混合苏格拉底框架，将对话式验证作为补充层，结合规则引擎与LLM优势，验证学生对代码的理解程度，为编程教育评估提供新范式。

LLM工具（如ChatGPT）为编程学习带来便利，但也导致"非生产性成功"——学生提交功能正确的代码却不理解逻辑。传统APAS依赖单元测试和静态分析，在LLM普及后失效：学生可通过AI生成完美代码却无实际掌握。这损害教育公平与有效性，亟需新评估方式验证代码理解。

因斯布鲁克大学团队遵循PRISMA指南，检索2018年后（后Transformer时代）的文献（Google Scholar、ACM Digital Library等），识别出三种对话式评估技术路线：

1. 基于规则/模板：确定性高但灵活性不足；
2. 基于LLM：交互自然但存在幻觉风险；
3. 混合系统：结合前两者优势，平衡质量与风险，被认为最具实用价值。

混合苏格拉底框架旨在补充传统APAS，核心组件包括：

• 确定性代码分析层：静态/动态分析代码，提取结构、执行路径等客观数据；
• 双代理对话层："提问者"（苏格拉底导师）引导解释，"评估者"判断理解深度，减少偏见；
• 知识追踪模块：记录知识点掌握情况，构建个性化知识图谱；
• 脚手架式提问：根据回答调整问题难度，提供提示或追问；
• 运行时事实锚定：问题绑定代码实际执行状态（如变量值变化），避免泛泛回答。

为应对学生用LLM生成对话回答，框架设计以下策略：

• 监考模式：限制外部AI工具访问（浏览器锁定、网络监控等）；
• 随机化追踪问题：从代码执行轨迹随机选状态提问，对话路径独特；
• 逐步推理要求：需展示推理过程而非仅最终答案；
• 本地模型部署：支持开源模型（Llama、Mistral）本地部署，保障数据隐私。

框架存在以下局限：

1. 规模化部署需大量计算资源；
2. LLM幻觉问题未完全解决，可能误判回答；
3. 隐私与学术诚信问题需持续研究。 未来需在更多教育场景验证框架效果，探索更高效的规模化方案，完善反作弊机制。

LLM时代编程教育评估需与时俱进。混合苏格拉底框架不取代传统测试，而是作为补充，通过AI辅助验证学生理解。其核心是人与AI协作：技术增强教师判断能力，识别真正掌握知识的学生。这种模式或成为编程教育评估的新常态。