一个面向微生物学领域的LLM基准测试工具包，支持19,000+物种表型预测评估，包含幻觉检测和知识校准功能。

LLM-BioEval：用大型语言模型预测微生物表型的开源评估工具\n\n在人工智能与生命科学交叉领域，如何让大语言模型（LLM）真正理解微生物世界的复杂性，一直是研究人员关注的焦点。GenomeNet团队开源的LLM-BioEval项目，为这一挑战提供了一个系统化的解决方案——这是一个专门用于评估大型语言模型在结构化微生物知识任务上表现的完整工具包。\n\n## 项目背景与核心定位\n\n微生物表型预测是微生物学研究中的关键任务，涉及从基因组信息推断微生物的生理特性、代谢能力和环境适应性。传统方法依赖实验验证，耗时且成本高昂。LLM-BioEval的出现，为研究人员提供了一条利用大语言模型进行快速、规模化表型预测的新路径。\n\n该项目不仅是一个代码仓库，更是支撑相关学术论文分析的完整技术栈。它将精心整理的BacDive/bugphyzz真实数据集与自动化推理管道、验证仪表板和公开报告组件相结合，形成端到端的评估体系。\n\n## 核心功能与技术架构\n\n### 端到端评估体系\n\nLLM-BioEval的设计遵循工程化最佳实践，包含三个紧密协作的组件：\n\n- 确定性模板提示系统：确保不同模型在相同条件下进行公平比较\n- 实时管理仪表板：基于Flask构建的Web界面，支持作业编排和实时监控\n- 公共研究门户：自动从共享SQLite数据库获取最新基准摘要并可视化展示\n\n### 精心整理的微生物数据集\n\n数据质量是评估可靠性的基石。项目整合了超过19,000个物种记录，覆盖13种表型特征，包括：\n\n- 来自BacDive和bugphyzz的协调真实数据\n- 用于幻觉压力测试的合成分类群（200个人工生成的双名法名称，分为四个真实度等级）\n- 低注释队列数据，支持分布外评估\n\n### 可复现的研究工作流\n\n项目内置版本化脚本，可生成论文中报告的知识校准、幻觉检测和表型准确性图表。所有中间输出缓存在microbellm/templates/research目录下，确保研究结果完全可复现。\n\n### 模型无关设计\n\n通过OpenRouter API，LLM-BioEval支持300+个模型提供商和版本，从GPT-4到开源模型均可无缝接入进行比较研究。\n\n## 项目结构与技术实现\n\n代码库采用清晰的模块化组织：\n\n\n├─ microbellm/ # 核心包（Flask应用、作业编排、工具函数）\n├─ microbellm/templates/ # 研究仪表板、论文图表与脚本\n├─ data/ # 协调的真实数据导出和物种队列\n├─ scripts/ # CLI工具（摘要表、统计导出）\n└─ tests/ # Pytest测试套件\n\n\n## 快速开始与使用指南\n\n### 环境配置\n\n项目使用conda进行依赖管理，确保环境一致性：\n\nbash\ngit clone https://github.com/GenomeNet/LLM-BioEval.git\ncd LLM-BioEval\nconda env create -f environment.yml\nconda activate microbellm\npip install -e .\nexport OPENROUTER_API_KEY=\"your-openrouter-api-key\"\n\n\n### 启动服务\n\n系统包含两个互补的Web界面：\n\nbash\n# 管理推理仪表板（仅限本地）\nmicrobellm-admin --debug --port 5051\n\n# 公共研究门户\nmicrobellm-web --debug --port 5050\n\n\n两个服务共享同一个SQLite数据库。管理界面支持队列管理、实时作业监控和原始LLM输出审查；研究门户则自动渲染论文中使用的所有图表，并在新推理数据写入时自动刷新。\n\n## 典型工作流程\n\n使用LLM-BioEval进行完整评估的标准流程如下：\n\n1. 数据准备：运行data/original_data_generation/bugphyzz_corrected.R生成或刷新协调表型表\n2. 任务队列：通过管理仪表板或CLI包装器配置模型/物种/模板组合\n3. 执行分析：运行幻觉基准、知识校准和表型准确性分析脚本\n4. 结果导出：通过仪表板或scripts/export_model_accuracy_table.py导出CSV/JSON摘要\n5. 论文更新：使用generate_manuscript_stats.py更新论文统计数据\n\n值得注意的是，中间CSV/PDF输出被故意排除在Git版本控制之外，研究人员需要重新运行脚本以生成用于发表或补充数据的图表。\n\n## 数据集详情与质量控制\n\n### 真实数据（Ground Truth）\n\n基于协调后的BacDive/bugphyzz导出数据（merged_data.rds），过滤为单值表型用于主基准测试。这确保了评估的客观性和可比较性。\n\n### 合成分类群\n\n为检测模型幻觉，项目创建了200个人工双名法名称，按真实度分为四个等级：\n- 完全虚构的属名+种加词\n- 真实属名+虚构种加词\n- 近真实变体\n- 边缘真实案例\n\n这种分层设计可以精确测量模型在不同"诱惑"强度下的幻觉率。\n\n### 物种队列\n\n- wa_with_gcount.txt：注释充分的物种（well-annotated）\n- la.txt：低注释物种（low-annotation）\n\n两类队列驱动表型基准测试，支持评估模型在数据丰富和稀缺场景下的表现差异。\n\n## 技术亮点与创新价值\n\nLLM-BioEval在多个维度展现了技术创新：\n\n科学严谨性：通过与权威微生物数据库BacDive和bugphyzz的深度整合，确保评估数据的专业性和权威性。\n\n工程完整性：从数据管理、模型推理到结果可视化，形成闭环工作流，而非零散脚本集合。\n\n社区友好性：MIT许可证、详细的文档、可复现的工作流，降低了其他研究者复用和扩展的门槛。\n\n幻觉检测创新：系统性的合成数据生成方法，为LLM在科学领域的可靠性评估提供了新思路。\n\n## 应用场景与潜在价值\n\n对于微生物学研究者和生物信息学工程师，LLM-BioEval提供了：\n\n- 模型选型参考：客观比较不同LLM在微生物表型预测任务上的表现\n- 幻觉风险预警：了解模型在科学事实上的可靠性边界\n- 研究加速器：快速筛选值得实验验证的表型假设\n- 教学工具：展示如何将LLM应用于生命科学研究的完整范例\n\n## 结语\n\nLLM-BioEval代表了AI for Science领域的一个务实方向：不是追求通用智能的宏大叙事，而是聚焦于具体科学问题的系统化解决方案。通过将大语言模型的强大能力与微生物学的专业知识深度结合，它为生命科学研究开辟了一条高效、可扩展的新路径。\n\n对于关注AI在科学研究中应用的研究者，这个项目值得深入探索——无论是其技术实现，还是其背后的方法论思考。

LLM-BioEval：用大型语言模型预测微生物表型的开源评估工具\n\n在人工智能与生命科学交叉领域，如何让大语言模型（LLM）真正理解微生物世界的复杂性，一直是研究人员关注的焦点。GenomeNet团队开源的LLM-BioEval项目，为这一挑战提供了一个系统化的解决方案——这是一个专门用于评估大型语言模型在结构化微生物知识任务上表现的完整工具包。\n\n项目背景与核心定位\n\n微生物表型预测是微生物学研究中的关键任务，涉及从基因组信息推断微生物的生理特性、代谢能力和环境适应性。传统方法依赖实验验证，耗时且成本高昂。LLM-BioEval的出现，为研究人员提供了一条利用大语言模型进行快速、规模化表型预测的新路径。\n\n该项目不仅是一个代码仓库，更是支撑相关学术论文分析的完整技术栈。它将精心整理的BacDive/bugphyzz真实数据集与自动化推理管道、验证仪表板和公开报告组件相结合，形成端到端的评估体系。\n\n核心功能与技术架构\n\n端到端评估体系\n\nLLM-BioEval的设计遵循工程化最佳实践，包含三个紧密协作的组件：\n\n- 确定性模板提示系统：确保不同模型在相同条件下进行公平比较\n- 实时管理仪表板：基于Flask构建的Web界面，支持作业编排和实时监控\n- 公共研究门户：自动从共享SQLite数据库获取最新基准摘要并可视化展示\n\n精心整理的微生物数据集\n\n数据质量是评估可靠性的基石。项目整合了超过19,000个物种记录，覆盖13种表型特征，包括：\n\n- 来自BacDive和bugphyzz的协调真实数据\n- 用于幻觉压力测试的合成分类群（200个人工生成的双名法名称，分为四个真实度等级）\n- 低注释队列数据，支持分布外评估\n\n可复现的研究工作流\n\n项目内置版本化脚本，可生成论文中报告的知识校准、幻觉检测和表型准确性图表。所有中间输出缓存在microbellm/templates/research目录下，确保研究结果完全可复现。\n\n模型无关设计\n\n通过OpenRouter API，LLM-BioEval支持300+个模型提供商和版本，从GPT-4到开源模型均可无缝接入进行比较研究。\n\n项目结构与技术实现\n\n代码库采用清晰的模块化组织：\n\n\n├─ microbellm/ 核心包（Flask应用、作业编排、工具函数）\n├─ microbellm/templates/ 研究仪表板、论文图表与脚本\n├─ data/ 协调的真实数据导出和物种队列\n├─ scripts/ CLI工具（摘要表、统计导出）\n└─ tests/ Pytest测试套件\n\n\n快速开始与使用指南\n\n环境配置\n\n项目使用conda进行依赖管理，确保环境一致性：\n\nbash\ngit clone https://github.com/GenomeNet/LLM-BioEval.git\ncd LLM-BioEval\nconda env create -f environment.yml\nconda activate microbellm\npip install -e .\nexport OPENROUTER_API_KEY=\"your-openrouter-api-key\"\n\n\n启动服务\n\n系统包含两个互补的Web界面：\n\nbash\n管理推理仪表板（仅限本地）\nmicrobellm-admin --debug --port 5051\n\n公共研究门户\nmicrobellm-web --debug --port 5050\n\n\n两个服务共享同一个SQLite数据库。管理界面支持队列管理、实时作业监控和原始LLM输出审查；研究门户则自动渲染论文中使用的所有图表，并在新推理数据写入时自动刷新。\n\n典型工作流程\n\n使用LLM-BioEval进行完整评估的标准流程如下：\n\n1. 数据准备：运行data/original_data_generation/bugphyzz_corrected.R生成或刷新协调表型表\n2. 任务队列：通过管理仪表板或CLI包装器配置模型/物种/模板组合\n3. 执行分析：运行幻觉基准、知识校准和表型准确性分析脚本\n4. 结果导出：通过仪表板或scripts/export_model_accuracy_table.py导出CSV/JSON摘要\n5. 论文更新：使用generate_manuscript_stats.py更新论文统计数据\n\n值得注意的是，中间CSV/PDF输出被故意排除在Git版本控制之外，研究人员需要重新运行脚本以生成用于发表或补充数据的图表。\n\n数据集详情与质量控制\n\n真实数据（Ground Truth）\n\n基于协调后的BacDive/bugphyzz导出数据（merged_data.rds），过滤为单值表型用于主基准测试。这确保了评估的客观性和可比较性。\n\n合成分类群\n\n为检测模型幻觉，项目创建了200个人工双名法名称，按真实度分为四个等级：\n- 完全虚构的属名+种加词\n- 真实属名+虚构种加词\n- 近真实变体\n- 边缘真实案例\n\n这种分层设计可以精确测量模型在不同"诱惑"强度下的幻觉率。\n\n物种队列\n\n- wa_with_gcount.txt：注释充分的物种（well-annotated）\n- la.txt：低注释物种（low-annotation）\n\n两类队列驱动表型基准测试，支持评估模型在数据丰富和稀缺场景下的表现差异。\n\n技术亮点与创新价值\n\nLLM-BioEval在多个维度展现了技术创新：\n\n科学严谨性：通过与权威微生物数据库BacDive和bugphyzz的深度整合，确保评估数据的专业性和权威性。\n\n工程完整性：从数据管理、模型推理到结果可视化，形成闭环工作流，而非零散脚本集合。\n\n社区友好性：MIT许可证、详细的文档、可复现的工作流，降低了其他研究者复用和扩展的门槛。\n\n幻觉检测创新：系统性的合成数据生成方法，为LLM在科学领域的可靠性评估提供了新思路。\n\n应用场景与潜在价值\n\n对于微生物学研究者和生物信息学工程师，LLM-BioEval提供了：\n\n- 模型选型参考：客观比较不同LLM在微生物表型预测任务上的表现\n- 幻觉风险预警：了解模型在科学事实上的可靠性边界\n- 研究加速器：快速筛选值得实验验证的表型假设\n- 教学工具：展示如何将LLM应用于生命科学研究的完整范例\n\n结语\n\nLLM-BioEval代表了AI for Science领域的一个务实方向：不是追求通用智能的宏大叙事，而是聚焦于具体科学问题的系统化解决方案。通过将大语言模型的强大能力与微生物学的专业知识深度结合，它为生命科学研究开辟了一条高效、可扩展的新路径。\n\n对于关注AI在科学研究中应用的研究者，这个项目值得深入探索——无论是其技术实现，还是其背后的方法论思考。