BioTool：面向生物医学领域的大模型工具调用数据集

BioTool是ACL 2026接收论文，开源发布的面向生物医学领域的大模型工具调用数据集。包含7040条生物医学工具调用数据，覆盖127个来自NCBI、UniProt、Ensembl等权威数据库的工具，旨在提升大语言模型在生物医学领域的工具调用能力与问答准确性。项目提供数据集、评估工具、微调模型等资源。

大语言模型在通用领域表现出色，但生物医学领域知识高度专业化，信息分布在NCBI、UniProt、Ensembl等多个权威数据库。传统LLM缺乏实时数据库交互能力，易产生幻觉或过时信息，如何让LLM准确调用专业工具成为提升其领域实用性的关键问题。

BioTool包含7040条curated数据（query、function_call、observation三元组），覆盖127个生物医学工具：NCBI的E-utilities系列及BLAST；UniProt的14个子工具（如uniprotkb）；Ensembl的16个子工具（如lookup）。采用函数调用标准格式，提供LLaMA-Factory ShareGPT格式的训练集（5632条）和测试集（1408条）。数据示例展示用户问题、工具调用及返回结果的关系。

BioTool建立三项核心评估指标：Exact Match（EM，工具调用完全匹配率）、API Success（AS，调用成功返回非错误响应比例）、BioTool Score（综合评分）。项目基于Qwen3-4B微调发布BioTool-finetuned-Qwen3-4B模型，可通过Hugging Face下载。

BioTool为127个工具提供Python封装，示例代码如调用Ensembl的lookup_by_symbol函数。评估流程支持闭源模型（通过OpenRouter调用GPT-5.1等）和开源模型（基于LLaMA-Factory），提供评估脚本示例（闭源模型评估、计算指标等命令）。

BioTool应用场景包括：智能生物医学问答（准确回答专业问题）、研究辅助工具（自然语言查询跨数据库信息）、模型能力基准测试、领域特化模型训练（微调其他开源模型）。

项目未来将扩展到多轮对话和多步工具调用（多跳交互），探索从监督微调到强化学习的优化方向，处理生物医学数据与预训练语料的分布偏移问题。

BioTool是生物医学领域首个大规模工具调用数据集，提供7040条标注数据和127个真实工具，提升LLM专业问题回答的准确性。开源发布的数据集、评估工具、微调模型等资源，将推动生物医学AI的发展。