图1. ProtMD框架示意图

ProtMD有两个专门设计的自监督学习任务：一个是基于Prompt的去噪生成预测，另一个是Snapshot Ordering。模型在两个下游任务上通过微调和线性探测进行验证，其中结合亲和力预测是一个回归问题，Ligand Efficacy Prediction^[2,3]是一个分类问题。

2.1 预训练数据集

为了获取无标签的蛋白质时空信息进行预训练，德睿智药团队根据先前蛋白质研究经验，从PDB蛋白质数据库（RCSB PDB [https://www.rcsb.org]）共计57651个人类蛋白结构中选取了具有结构代表性的数十个蛋白质结构，使用Molecule Dance平台对这数十个蛋白质进行分子动力学模拟，获得数TB蛋白质空间动态信息用于下步预训练。

2.2 Prompt-based Denoising Conformation Generative Task

生成式自监督学习是无监督预训练的一个典型任务。为了更好地捕获构象中原子级的信息，提出了基于提示的去噪生成预测自监督任务。该任务要求模型根据当前构象产生未来构象。与朴素的生成式自监督学习不同，团队在模型中添加了一个时间序列提示Prompt来调节和控制源构象和目标构象之间的时间间隔，这使分子编码器能够捕获MD轨迹内的短期和长期依赖性，生成大于等于一步之后的构象。除此之外，额外的噪声被注入到构象中增加了该自监督生成任务的难度以防止模型过拟合。

2.3 Snapshot Ordering Prediction

此前已有大量研究证实，每种构象的形状和表面都带有了解潜在分子相互作用的关键信息。然而，只利用基于提示的去噪生成任务是建立在原子水平上的，无法有效捕获构象级全局信息。为了获取构象级别的信息，团队设计了一个快照排序任务。具体来说，通过将一组密切相关的构象排序为连贯的子轨迹，教会模型从全局角度理解它们的依赖关系。

目前预训练模型参数量越来越大，如BERT-base参数个数达1.1亿个^[1]，使用此类模型面临着较大的性能瓶颈。为加速ProtMD的训练及推理过程、便于后续工业级大规模使用，我们训练了两个版本的ProtMD，即仅有1万参数的轻量级版本，以及有522万参数的完整版本。

3.1 药物亲和力预测

在药物-蛋白亲和力预测任务上，ProtMD仅有1万参数的轻量级版本表现已超过以往最优（SOTA）模型，在522万参数版本达到1.367的RMSD和最佳的Pearson和Spearman系数，较SOTA模型提升5%表现。轻量级版本的参数个数比以往各类模型小50倍以上，ProtMD的更优表现表明了模型的高学习效率，引入蛋白质时空动态信息可显著提升药物亲和力预测效果。

3.2 Ligand Efficacy Prediction

在Ligand Efficacy Prediction^[2,3]任务上，ProtMD 522万个参数版本AUPRC达到0.724，较SOTA模型提升14%表现。

ProtMD的研发为基于蛋白的机器学习预训练模型研发提供了新方向，证明了蛋白质动态时空信息在蛋白-小分子亲和力预测上的重要性。既由该底层原理上的突破，该模型预测精度达到“同类最优”。ProtMD的工业级版本可大幅提高药物亲和力预测与虚拟筛选效率。

原文链接：https://doi.org/10.1002/advs.202203796

参考文献：

1.Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.

2.Townshend R J L, Vögele M, Suriana P, et al. Atom3d: Tasks on molecules in three dimensions[J]. arXiv preprint arXiv:2012.04035, 2020.

3.Friesner, R. A., Banks, J. L., et al. (2004). Journal of Medicinal Chemistry, 47(7), 1739–1749.

既往报道：