FHIR Agent Benchmark：医疗AI代理的开放式评估基准

一个专为医疗AI代理设计的开源评估基准，专注于FHIR原生医疗工作流，涵盖临床推理、药物协调、FHIR资源生成、数据质量检测、安全性和序列化鲁棒性等多维度评估。

• 原作者/维护者： Farid Murzone
• 来源平台： GitHub
• 原始标题： fhir-agent-benchmark
• 原始链接： https://github.com/Faridmurzone/fhir-agent-benchmark
• 发布时间： 2026年5月

---

当前大多数大语言模型（LLM）基准测试集中在通用推理、编程、数学或问答任务上。然而，医疗领域带来了完全不同的挑战：结构化的临床数据、纵向患者病史、时间推理、医疗安全约束以及互操作性标准。

现有的基准测试如SWE-Bench、MMLU或HumanEval都无法满足医疗互操作性和FHIR原生代理的评估需求。FHIR Agent Benchmark正是为了填补这一空白而诞生的，它是Prometheus Frontier项目的一部分，致力于构建开放、可复现、厂商中立的医疗AI评估体系。

需要明确的是，这不是一个医疗问答基准、诊断基准或纯文本到FHIR的转换基准。它是一个专门针对FHIR原生、代理导向、安全感知、可追溯且具备序列化感知能力的综合评估框架。

---

该基准测试涵盖六大任务族，约30项具体能力：

评估AI代理从FHIR资源中提取关键患者信息的能力，包括：

• 识别活跃的疾病状况（active conditions）
• 提取当前正在使用的药物清单
• 识别过敏史
• 获取最新的就诊记录

这是医疗工作流中的关键环节，测试代理能否：

• 生成准确的活跃药物清单
• 检测重复用药治疗
• 识别过敏与药物之间的冲突

医疗数据具有强烈的时间属性，基准测试评估代理对以下方面的理解：

• 事件的正确排序
• 状态变化追踪
• 区分活跃状态与已解决状态

测试代理生成符合FHIR标准资源的能力，包括Observation、Condition、Encounter、MedicationRequest等核心资源类型。