大语言模型小分子药物设计能力评估：从基准测试到强化学习后训练

本文构建了基于化学原理的药物设计任务基准ChemRL并将其形式化为强化学习(RL)环境，评估前沿大语言模型(LLMs)的小分子药物设计能力。研究发现：前沿模型在化学任务上日益精通，但低数据场景下仍有提升空间；关键是基于RL的后训练能显著提升性能，使较小模型达到前沿模型水平。

传统新药研发耗时10-15年、耗资数十亿美元，成功率极低，面临"生产力危机"。AI尤其是LLMs凭借跨模态推理能力，有望加速药物设计，但它们在专业领域的实际效用尚不明确，核心障碍是缺乏反映真实场景的基准测试。

研究提出ChemRL基准套件，将药物设计任务形式化为RL环境。其涵盖三大核心任务：1)分子属性预测（如ADMET、靶点亲和力）；2)分子表征转换（如SMILES与分子图互转）；3)分子设计（如多目标优化、骨架跃迁）。RL环境包含状态空间（当前部分解/上下文）、动作空间（预测属性、修改分子等）、奖励函数（连续反馈、化学合理性惩罚等），支持迭代优化与后训练。

实验评估主流模型发现：1)前沿模型（如GPT-4、Claude3）在SMILES解析、基础属性预测、简单分子生成上表现出色；2)低数据场景（如新靶点）、多目标优化、化学合理性约束下性能显著下降；3)RL后训练（如PPO算法）使较小模型在ChemRL基准上达到前沿模型水平。

RL后训练的优势在于：1)从被动学习转向主动探索，模型通过试错积累设计直觉；2)细粒度连续奖励提供更丰富的学习信号；3)通过交互内化任务结构（合法操作、目标约束等），提升泛化能力。

对制药行业：1)优先选择经专门后训练的小型模型而非通用大模型；2)采用迭代式人机协作（模型提候选→专家评估→反馈训练）；3)重视高质量领域数据整理。对AI研究：1)设计支持训练的基准（如ChemRL）；2)探索高效后训练策略而非仅追求预训练规模；3)加强领域知识与AI的融合（如编码化学规则到奖励函数）。

当前局限：ChemRL仍有简化假设（如属性精确预测）、RL训练成本高、真实场景泛化待验证。未来方向：集成真实实验反馈、探索多智能体协作、量化不确定性、增强模型可解释性。