深度强化学习+图神经网络：约翰霍普金斯大学的抗生素发现新范式

约翰霍普金斯大学AI硕士项目的期末项目，将GATv2图神经网络与近端策略优化（PPO）强化学习相结合，用于发现针对金黄色葡萄球菌和大肠杆菌的新型抗生素候选分子。该系统在多项指标上超越传统基线方法，生成20,031个独特有效分子，为AI驱动的药物发现提供可复现的技术路径。

世界卫生组织已将抗生素耐药性列为全球公共卫生十大威胁之一。传统药物发现流程耗时漫长、成本高昂，AI技术的介入正改变这一局面。约翰霍普金斯大学AI硕士项目学生探索结合图神经网络（GNN）和强化学习（RL）的技术路径，目标是自动生成具有抗生素潜力的新型分子结构。

多任务GATv2编码器

采用三层GATv2结构（128维隐藏层、4个注意力头、平均+最大池化），针对金黄色葡萄球菌和大肠杆菌预测最小抑菌浓度（MIC），测试集AUROC分数分别为0.83和0.87（大肠杆菌接近经验噪声上限）。

三阶段PPO智能体

策略网络基于GATv2，自回归式类型/锚点/目标头，行为克隆于活性抗生素轨迹，KL散度锚定到BC先验。三阶段课程学习：结构探索（KL=1.0）→尺寸爬坡（KL=0.5，目标25-30重原子）→Top-100门控扩展。

替代指纹MLP解耦奖励

使用替代指纹MLP替代完整GNN进行奖励评分，提升训练效率，32个并行环境共约20,000训练回合。

数据来源

整合ChEMBL 33（78,314个化合物-生物体观测数据）、DrugBank 5.x（458个抗生素SMILES）、CARD（457个底物SMILES），采用80/10/10支架分割确保化学多样性差异。

复合奖励函数

由效力信号（GNN预测MIC）、QED（药物相似性）、合成可及性（SA）、新颖性评分（vs DrugBank）、耐药性规避评分（vs CARD）组成。

• 生成20,031个独特有效分子，在Bonferroni校正p<1e-5下超越随机构造、爬山算法和SMILES-RNN基线，Cliff's delta效应量分别为0.97、0.73、0.05。
• 化学新颖性：GA出现模式坍塌（收敛到单一支架），RL生成分子支架多样性0.003，Fréchet ChemNet距离最低（26.1 vs 平均43.8）。
• 基线对比：

  方法	支架多样性	新颖性优势	化学距离
  随机构造	低	无	高
  遗传算法（GA）	极低（模式坍塌）	有限	中等
  爬山算法	低	有限	中等
  SMILES-RNN	中等	样本量驱动	中等
  RL（本项目）	0.003	显著	26.1（最优）

局限性

1. 超过95%生成分子触发Brenk结构警报，需药物化学家精炼；2. 未产生可直接合成的前导化合物；3. 训练数据存在软跨任务支架泄漏；4. 替代物与GNN一致性偏差（Pearson r=0.52，二元一致性63%）。

实践意义

证明GNN+RL组合有效性，提供完整可复现流程（数据预处理到评估），开源训练检查点（30MB）和代码，为后续研究提供基准。

核心代码位于src/目录：gnn.py（GATv2回归器）、rl.py（MDP环境与PPO训练器）、rewards.py（复合奖励）、feature_engineering.py（图特征）、训练脚本（train_gnn.py/train_rl.py）、评估脚本（evaluate.py等）。复现流程：数据提取→GNN训练（约2小时）→RL训练（6-8小时）→基线对比（1小时），可在标准硬件完成。

该项目是AI在药物发现领域的典型应用：作为筛选/生成工具加速早期发现，而非取代传统药物化学。对ML从业者：展示GNN与RL结合解决科学问题、课程学习应用、替代模型加速训练；对药物发现领域：提供可扩展框架，虽距临床候选分子有距离，但展现AI辅助抗生素发现的巨大潜力。完整论文PDF可在Hugging Face获取：https://huggingface.co/jsf3467v/antibiotic-discovery/blob/main/paper.pdf