微软发布 AgentOps Accelerator：为 AI Agent 打造企业级发布门禁系统

微软 Azure 团队开源 AgentOps Accelerator，一个专为 Microsoft Foundry AI Agent 设计的评估与可观测性框架。它将模型评估、CI/CD 自动化和发布证据打包整合，帮助企业建立可重复的 Agent 发布流程，解决"能否上线"与"证据在哪"的核心问题。

• 原作者/维护者：Azure
• 来源平台：github
• 原始标题：agentops
• 原始链接：https://github.com/Azure/agentops
• 来源发布时间/更新时间：2026-05-29T03:45:10Z

|------|---------------------|--------------|\n| 构建与版本管理 | Foundry Portal、SDK、azd 部署工具 | 在 agentops.yaml 中锁定候选版本，生成 PR/发布门禁 | | 评估与对比 | Foundry Evaluations、官方 CI 扩展 | 在代码仓库中管理数据集和阈值，记录证据，支持本地/降级运行 | | 观测与调查 | Foundry Monitor、Azure Monitor、Application Insights | 提供深度链接、遥测就绪检查、Doctor 诊断、Cockpit 导航 | | 发布决策 | 分支保护、环境、审批流 | 打包 evidence.json / evidence.md 供评审 | | 生产改进 | 生产环境追踪、Foundry 数据集 | 将评审后的追踪学习提升为回归测试候选集 | \n这种分工让企业能够在享受 Foundry 强大功能的同时，在代码仓库中保留完整的发布契约和评估历史。\n\n---\n\n## 核心功能详解\n\n### 1. 多类型 Agent 支持\n\nAgentOps 支持评估多种形态的 Agent 目标，系统会自动分类：\n\n- Foundry Prompt Agent：agent: \"my-rag:3\"（名称:版本格式）\n- Foundry Hosted Endpoint：完整的 Azure AI Agent Service URL\n- HTTP/JSON Agent：任意兼容端点（ACA、AKS、自定义服务）\n- 原始模型：agent: \"model:gpt-4o\" 直接调用模型部署\n\n这种灵活性意味着无论你的 Agent 是完全托管在 Foundry 上，还是部署在自有基础设施中，都可以纳入统一的评估体系。\n\n### 2. 智能评估器选择\n\n评估器的选择基于数据集的结构自动推断，无需手动配置：\n\n- 数据集包含 context 字段 → 触发 RAG（检索增强生成）评估\n- 数据集包含 tool_calls 或 tool_definitions → 触发工具使用评估\n- 基础模型质量评估始终运行\n\n这种设计降低了配置复杂度，让团队可以专注于构建高质量的数据集，而非学习复杂的评估配置语法。\n\n### 3. 标准化输出格式\n\n每次运行生成三类输出：\n\n- results.json：机器可读的版本化结果，稳定 Schema，适合自动化处理\n- report.md：人类可读的 PR 友好报告，便于代码审查时快速了解评估结果\n- evidence.json / evidence.md：通过 agentops doctor --evidence-pack 生成的发布证据包，供晋升评审使用\n\n退出码契约：\n- 0：执行成功且所有阈值通过\n- 2：执行成功但有阈值未通过\n- 1：运行时或配置错误\n\n### 4. Doctor 诊断系统\n\nagentops doctor 命令提供全面的就绪检查：\n\n- 代码仓库健康度\n- CI/CD 配置完整性\n- 遥测系统就绪状态\n- Landing Zone 配置\n- Foundry 环境设置\n\n配合 --evidence-pack 标志，可以生成完整的生产就绪证据包，为发布审批提供结构化依据。\n\n### 5. 回归检测与基线对比\n\nAgentOps 支持基线比较功能：\n\npowershell\n# 捕获首次成功运行作为基线\nCopy-Item .agentops\\results\\latest\\results.json .agentops\\baseline\\results.json\n\n# 后续运行自动对比，检测回归\n\n\n这使得团队可以像对待传统软件一样，对 Agent 进行版本间的回归测试，确保新版本的发布不会引入意外的质量下降。\n\n### 6. 追踪提升与持续学习\n\nAgentOps 支持将生产环境的追踪数据（traces）提升为回归测试候选集。这意味着：\n\n- 生产中的真实用户交互可以被安全地转化为测试用例\n- 问题案例可以被捕获并纳入回归测试，防止重复出现\n- 评估数据集可以持续演进，反映实际使用模式\n\n---\n\n## 快速上手\n\n安装（当前需从 GitHub 源码安装）：\n\npowershell\npython -m venv .venv\n.\\.venv\\Scripts\\Activate.ps1\npython -m pip install --upgrade \"agentops-accelerator[foundry] @ git+https://github.com/Azure/agentops.git@main\"\n\n\n初始化项目：\n\npowershell\nagentops init\n\n\n这会创建 agentops.yaml 配置文件和 .agentops/ 工作目录。\n\n最小配置示例：\n\nyaml\nversion: 1\nagent: \"agentops-smoke:2\"\ndataset: .agentops/data/smoke.jsonl\n\n\n运行评估：\n\npowershell\naz login\n$env:AZURE_AI_FOUNDRY_PROJECT_ENDPOINT = \"https://<resource>.services.ai.azure.com/api/projects/<project>\"\nagentops eval analyze\nagentops eval run\nagentops doctor --evidence-pack\n\n\n---\n\n## 技术栈与兼容性\n\n- Python 3.11+：核心运行时要求\n- Typer：现代化 CLI 框架\n- Microsoft Foundry：深度集成，原生支持\n- MIT 许可证：企业友好，可自由商用\n\n---\n\n## 总结与展望\n\nAgentOps Accelerator 的发布标志着企业 AI Agent 工程化进入新阶段。它解决了从"原型可用"到"生产就绪"之间的关键鸿沟，为团队提供了：\n\n1. 可重复性：每次评估都基于相同的配置和数据集\n2. 可审计性：结构化的证据包支持合规审查\n3. 可追溯性：从代码变更到评估结果的完整链路\n4. 可扩展性：支持从单模型到多 Agent 系统的演进\n\n对于正在使用或计划使用 Microsoft Foundry 构建 AI Agent 的企业来说，AgentOps Accelerator 是一个值得立即评估的工具。它不仅提供了技术能力，更重要的是建立了一套工程实践范式，帮助团队以对待传统软件同样的严谨态度来管理 AI Agent 的发布流程。

原作者与来源

• 原作者/维护者：Azure
• 来源平台：github
• 原始标题：agentops
• 原始链接：https://github.com/Azure/agentops
• 来源发布时间/更新时间：2026-05-29T03:45:10Z 原作者与来源\n\n- 原作者/维护者： Microsoft Azure 团队（Azure 官方组织）\n- 来源平台： GitHub\n- 原始标题： agentops\n- 原始链接： https://github.com/Azure/agentops\n- 发布时间： 2026年5月29日\n\n---\n\n背景：AI Agent 企业落地的发布难题\n\n随着大语言模型（LLM）能力的快速演进，越来越多的企业开始将 AI Agent 投入生产环境。然而，一个核心问题始终困扰着技术团队：这个 Agent 真的可以发布吗？证据在哪里？\n\n传统的软件发布流程有明确的测试覆盖率和性能指标作为门禁，但 AI Agent 的输出具有概率性和开放性，使得传统的单元测试和集成测试难以直接套用。企业需要一套专门针对 Agent 特性的评估框架，能够在 CI/CD 流程中自动运行，并生成结构化的发布证据。\n\n微软 Azure 团队正是在这一背景下推出了 AgentOps Accelerator ——一个开源的评估与可观测性工具包，专门服务于 Microsoft Foundry 平台上的 AI Agent。\n\n---\n\nAgentOps Accelerator 核心定位\n\nAgentOps Accelerator 的设计理念非常清晰：Foundry 是 Agent 的控制平面，AgentOps 是将控制平面信号转化为可重复发布决策的操作层。\n\n它并不试图取代 Foundry 的功能，而是与 Foundry 形成互补：\n\n| 阶段 | Foundry / Azure 提供 | AgentOps 补充 |