HEPTA：评估LLM在人机交互教育中教学效果的自动化基准测试框架

HEPTA（AI HCI教育性能测试）是一个自动化基准测试框架，专门用于评估大语言模型在人机交互教育领域的教学效果。随着LLM在教育领域应用广泛，如何客观评估其在HCI这类专业领域的教学效果成为关键问题。HEPTA填补了传统基准测试（如MMLU、HumanEval）缺乏教学质量专门评估的空白，通过系统化框架测试AI在HCI教育中的表现，核心包括评估维度设计、测试数据集构建及自动化评估机制，为相关群体提供科学依据。

大语言模型虽有丰富知识储备和语言生成能力，但有效教学需概念准确、逻辑连贯、适应性、启发性及领域专业性。传统基准测试主要评估知识储备和推理能力，缺乏对教学质量的专门评估。HEPTA正是为解决这一问题而生，专注于教育场景下的效果测量。

HEPTA设计考虑HCI教育的特殊性（交叉心理学、设计学、计算机科学，含理论与实践技能）。评估维度包括：1.知识准确性（HCI核心概念掌握）；2.解释清晰度（复杂概念简洁解释）；3.教学适应性（识别学习者水平调整策略）；4.实践指导能力（指导设计实践表现）。

HEPTA数据集涵盖HCI多个子主题（基础UI设计到高级交互技术），每个用例经领域专家审核确保专业代表性。题型包括概念解释题、案例分析题、对比分析题、设计指导题。

HEPTA实现全自动化评估流程：向模型发送题目收集回答后，通过三层评估打分——基础层匹配标准答案检查关键概念，中间层用LLM从教学专业性评估，高级层人工抽样验证可靠性。混合方式兼顾效率与质量。

HEPTA结果对多群体有价值：教育技术开发者可选择适合教学场景的模型；模型开发者获针对性改进方向；教育研究者揭示AI教学能力现状与局限。实际应用包括模型选型、回归测试等。

HEPTA局限：仅基于文本交互，未涵盖多模态教学；评估标准存在主观性；数据集需持续更新。未来方向：扩展评估维度、探索精细指标、建立纵向追踪机制评估多轮对话教学连贯性。

HEPTA是AI教育评估领域的重要尝试，通过专门针对HCI教育场景的测试框架，为评估LLM教学能力提供科学依据。它不仅是测试工具，更是推动AI教育应用成熟的催化剂，为相关开发者和研究者提供宝贵参考框架。