PhageBench：评估大语言模型理解噬菌体基因组能力的基准测试

PhageBench是首个专门评估大语言模型（LLM）对噬菌体基因组理解能力的基准测试，包含5600个高质量样本，覆盖五个核心任务，揭示了当前模型在生物序列推理方面的潜力与局限。该基准模拟生物信息学专家的实际工作流程，为评估和改进LLM的生物序列理解能力提供了重要平台。

噬菌体被称为生物圈中的暗物质，数量估计超10^31个，在调节微生物生态系统和作为抗生素替代品方面发挥关键作用。准确解读其基因组具有重要科学价值和实际意义，尤其在抗生素耐药性严重的今天，噬菌体疗法成为医学研究热点。传统分析依赖专业工具和领域知识，流程繁琐耗时；而LLM在自然语言处理取得突破后，能否直接理解核苷酸序列并执行复杂生物推理是待解问题。

通用LLM在生物文本理解表现出色，但直接解释原始核苷酸序列的能力研究不足。现有生物信息学基准要么聚焦特定子任务，要么无法全面评估模型在真实工作流程中的表现。为填补空白，研究团队推出PhageBench——首个专门评估噬菌体基因组理解的综合性基准，其独特之处在于模拟专家实际工作流程，覆盖从原始数据筛选到功能注释的完整分析链条。

PhageBench包含5600个高质量样本，涵盖三个阶段五个核心任务：第一阶段筛选（噬菌体序列初步识别和分类）；第二阶段质量控制（序列完整性检查和污染检测）；第三阶段表型注释（宿主预测、功能基因识别等高级任务）。这种分阶段设计反映真实生物信息学分析流程，确保对模型能力的全面真实评估。

研究团队对八种不同LLM进行系统评估，结果显示：在噬菌体序列识别和宿主预测等任务上，通用推理模型显著优于随机基线，展现基因组序列理解潜力；但面对长程依赖和细粒度功能定位的复杂任务时，模型表现明显局限（如识别基因调控关系或远端序列元件功能影响时准确率大幅下降），揭示当前LLM在生物序列推理能力的不足与改进方向。

模型处理长程依赖关系面临根本挑战：噬菌体基因组中某些功能元件相隔数千碱基对却有密切调控关系，人类专家可基于领域知识推断，但LLM难以捕捉这种长距离关联。此外，细粒度功能定位也是难点：噬菌体基因紧密排列甚至重叠，准确识别基因起止位置及功能上下文需高度精确性和生物学先验知识，当前LLM难以做到。

PhageBench结果强调需开发增强生物序列推理能力的下一代模型，关键方向包括：1.改进架构以捕捉长程依赖（如专门注意力机制或层次化建模）；2.整合更多生物学先验知识（密码子偏好、基因结构特征等）；3.开发针对生物序列的预训练策略，从海量基因组数据学习通用生物学规律。这些方向将推动计算生物学领域发展，助力AI在基因组注释、功能预测及噬菌体疗法设计等方面发挥更大作用。

PhageBench为评估和改进LLM生物序列理解能力提供重要基准平台，既展示当前技术潜力，也揭示局限。随着研究深入，未来AI系统有望像人类专家一样理解生命密码，为生物科学和医学研究开辟新可能。