为了生产一个机器学习势函数,你积累了大量的第一性原理数据,却发现训练模型的样本效率不足,迁移性差。如此大的花费只能体验“一次性”的机器学习分子动力学模拟 (MLMD)?这未免太贵了!
ChatGPT 等大规模语言模型的成功让我们看到了“预训练模型+少量新数据微调”解决这一难题的可能,势函数生产能否参考此训练策略进行?
图 1|预训练模型+少量新数据微调范式
在此思路上,深势科技以及北京科学智能研究院研究员张铎、毕航睿等人和合作者在 arXiv 上预发表了《DPA-1: Pretraining of Attention-based Deep Potential Model for Molecular Simulation》文章。
通过对元素类型更优的编码以及利用关键的注意力机制,极大提高了 Deep Potential 之前版本模型的容量和迁移能力,获得了覆盖元素周期表大多常见元素的大型预训练模型 DPA-1。在不同数据集上的迁移学习结果表明,模型能大幅降低新场景对数据的依赖。
现在,你已经知道了 DPA-1 是一个基于注意力机制的 DP 模型,它有效地描述了原子间相互作用;训练后,可以显著减少下游任务的额外工作。你只需要通过一篇指南快速掌握训练 DPA-1 势函数(dpa_从头训),以及如何基于一个已有的大模型,根据现有数据集进行微调(dpa_finetune)得到势函数的方法。
Notebook 上手实践
本期我们带来了两篇 Notebook:Notebook 1:DPA-1 遇见指南 | 固态电解质实战之模型训练篇Notebook 2:DP-SSE|使用深度势能分子动力学进行固态电解质研究实战在第一篇 Notebook 中将结合 DPA-1 原论文 [2] 介绍 DPA-1 模型的研究背景、基本原理,并提供实用的代码示例,帮助理解重要的参数含义;作者将以固态电解质为例,手把手带你使用文献 "J. Chem. Phys. 154, 094703 (2021)" [3] 中的训练集,训练 DPA-1 势函数模型。在第二篇 Notebook 中,我们将结合分子动力学计算软件 LAMMPS,使用训练好的 DP 模型进行分子动力学模拟,复现文献中的性质计算。现在点击下方链接,和我们一起开启势函数探索的新篇章!
欢迎大家来 Notebook 案例广场,获取更多有意思的实践~
感兴趣的同学也可以点击原文查看。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。