llm-eval-framework：AI智能体驱动的LLM输出评估框架

llm-eval-framework是一个以AI编码智能体为核心的LLM输出评估框架，通过8阶段交互式工作流，将传统需数百次人工判断的评估任务转化为约20分钟的智能体协作对话，解决人工评估繁琐、低效、不一致的痛点。

在生成式AI应用课程作业中，学生需为48个产品生成描述并按7个标准（流畅性、语法、语调、长度、事实依据、延迟、成本）评估，传统做法需336次人工判断，枯燥缓慢且易因疲劳产生不一致。llm-eval-framework诞生正是为解决此痛点，将数小时手工工作压缩至约20分钟。

智能体优先（Agent-First）

框架是一份"剧本"，用户克隆仓库后，在AI编码智能体中触发指令，智能体读取CLAUDE.md和AGENT.md引导完成8阶段工作流。

结构化评估流程

分解为8阶段：需求理解、知识库构建、标准定制、评分器配置、评估执行、结果汇总、质量审查、报告导出。

多模式评分支持

默认智能体评分（免费）、本地模型评分（Ollama，无网络）、API评分（OpenAI/Anthropic付费）三种模式。

专家知识提取

内置7本经典文案写作书籍，利用NotebookLM提取专家评分标准形成结构化rubric文档。

专业化评分智能体

每个评估维度有专门评分智能体，如流畅性评分器关注自然度可读性，事实依据评分器验证描述与属性数据一致性等。

防御性设计

含输入验证工具validate.py，工作流前检测数据不匹配问题。

教育评估

为Google-Reichman科技学校课程设计，适配作业要求，让学生专注创意生成。

内容质量审核

营销团队批量评估AI生成的产品描述、广告文案等，确保符合品牌标准。

模型对比测试

研究人员用统一标准对比不同LLM模型表现，获可量化指标。

智能体负责繁琐的数据处理、评分执行和格式转换，人类保留关键决策权（确认数据结构、审核标准、处理边界案例）。非技术背景用户也能轻松完成，无需懂Python，只需审阅批准决策。

知识库提取功能需网络连接和Google账户，但提供预提取评分标准可跳过该阶段；大规模评估（数千样本）时智能体评分模式较慢，建议切换API评分模式。

llm-eval-framework代表AI辅助工作流新方向：创建智能体可理解执行的协作协议，将人工劳动转化为结构化人机对话，保持质量同时提升效率，适合批量评估生成式AI输出场景。