agentEval：AI智能体的pytest测试框架

agentEval是Fizza-Mukhtar开发的专为AI智能体设计的测试框架，定位为"AI智能体的pytest"，旨在解决智能体测试面临的非确定性输出、复杂交互模式、错误恢复能力验证等独特挑战，聚焦智能体行为层面（工具调用、工作流、错误恢复、状态转换）的测试，为AI智能体开发提供质量保障与标准化测试方法。

随着大语言模型（LLM）快速发展，AI智能体成为应用开发新范式，但测试面临以下挑战：

1. 非确定性输出：LLM相同输入可能产生不同输出，传统断言式测试难以直接应用；
2. 复杂交互模式：需覆盖多轮工具调用和状态转换的完整链条；
3. 错误恢复能力：需测试工具失败、API超时等异常场景下的恢复能力；
4. 关注行为而非输出：正确与否取决于动作序列、工具调用及业务目标达成。

agentEval聚焦智能体行为层面测试，核心能力包括：

1. 工具调用测试：验证工具调用正确性、参数、顺序及次数；
2. 工作流测试：定义预期路径、验证实际路径、检测偏离及评估效率；
3. 错误恢复测试：模拟工具失败、网络故障，观察恢复行为与降级策略。

设计理念：

1. 行为驱动测试：从用户故事和业务目标出发定义测试；
2. 可观察性优先：观察智能体内部思考、工具选择等状态；
3. 失败即学习：通过诊断信息优化提示词或工具设计。

使用场景：

• 回归测试：验证修改后现有功能正常；
• A/B测试：比较不同策略的行为差异；
• 持续集成：自动化行为验证；
• 文档示例：测试用例作为活文档展示能力。

技术实现要点推测：

• 拦截与代理：记录/模拟工具调用无需修改被测代码；
• 状态机验证：建模行为状态转换验证多轮交互；
• 异步测试支持：适配智能体异步操作；
• 可扩展断言库：提供assert_tool_called()等方法。

与现有工具对比：

工具类型	代表产品	关注重点	agentEval差异
LLM评估框架	HELM、OpenAI Evals	输出质量、安全性	关注行为而非输出
智能体框架	LangChain、AutoGen	功能实现	专注测试而非构建
传统测试框架	pytest、unittest	确定性函数	适配非确定性智能体

社区意义：

1. 质量保障：为智能体应用提供可靠质量机制；
2. 标准化：推动测试方法论标准化；
3. 效率提升：减少手动测试加速迭代；
4. 信心建设：通过自动化建立系统信心。

未来展望：

• 支持更多智能体框架（LangChain、AutoGen等）；
• 引入模糊测试发现边界情况；
• 集成性能测试评估响应时间与资源消耗；
• 开发可视化工具展示决策路径。