FHIRBench：临床数据序列化策略的系统性基准测试框架

FHIRBench是针对医疗领域临床数据序列化策略的开源基准测试框架，系统评估6种序列化格式、4种大语言模型（LLM）和3种临床任务类型，旨在为医疗AI应用提供数据格式选择的科学依据，填补了该领域缺乏统一评估框架的空白。

在医疗AI领域，FHIR已成为临床数据交换标准，但LLM处理FHIR数据时，开发者面临如何有效序列化的问题。不同策略影响模型理解能力、推理准确性及计算效率，目前业界缺乏统一、系统性评估框架比较其优劣。

FHIRBench设计了全面测试矩阵，涵盖三个关键维度：

1. 序列化格式：评估JSON、XML、YAML等6种常用格式及LLM优化的文本化表示；
2. 大语言模型：覆盖4种主流模型（如GPT系列、Claude、开源模型等）；
3. 临床任务：包括临床问答、信息抽取、决策支持三种典型场景。

合成数据生成

使用Synthea生成FHIR R4标准合成数据，保护隐私同时提供多样测试场景。

序列化器实现

serializers/目录包含各格式实现，确保转换时保留语义完整性和层级关系。

评估框架

evaluation/提供标准化指标：准确性（与标准答案匹配度）、效率（处理时间/资源消耗）、鲁棒性（数据复杂度下的稳定性）。

对开发者

1. 选择最优序列化策略；2. 优化提示工程；3. 评估模型适配性。

对生态

开源特性支持社区复现验证、贡献新格式/任务、开发更优方案，推动FHIR与AI深度融合。

核心模块：

• data/synthea/：合成数据管理；
• serializers/：序列化实现；
• evaluation/：评估工具；
• tasks/：临床任务定义；
• specs/：配置文件；
• docs/：文档。 采用MIT许可证，依赖通过requirements.txt管理，便于部署。

FHIRBench填补了医疗AI领域缺乏系统性序列化评估标准的空白，为应用开发提供科学依据。未来将扩展支持更多序列化格式、模型及临床任务，成为医疗AI基础设施重要组成部分。