E(3)-等变图神经网络
---用于数据高效和精确的原子间势
摘要：这项工作提出了神经等变原子间势（NequIP），一种E(3)等变神经网络方法，用于学习从从头计算分子动力学模拟。虽然大多数当代对称感知模型使用不变卷积并且只作用于标量，但NequIP使用E(3)等变卷积来进行几何张量的相互作用，从而得到原子环境的更丰富和忠实的表示。该方法在具有挑战性和多样化的分子和材料集上实现了最先进的准确性，同时显示了显著的数据效率。NequIP以训练数据减少了三个数量级的性能优于现有模型，这挑战了人们普遍认为的深度神经网络需要大量训练集的信念。该方法的高数据效率允许利用高阶量子化学水平的理论作为参考来构建精确的电势，并能够在长时间尺度上进行高保真的分子动力学模拟。
- 简介
分子动力学模拟是在能量存储、催化和生物过程等不同领域的计算发现的不可或缺的工具1-3。虽然积分牛顿运动方程所需的原子力原则上可以通过量子力学计算（如密度泛函理论（DFT））获得高保真度，但在实践中，第一性原理方法的不利计算尺度将模拟限制在短时间尺度和少量的原子。这禁止了对许多有趣的物理现象的研究，除了时间和长度尺度，即使是在最大的超级计算机上。
由于其简单的函数形式，用于原子势能的经典模型通常可以比第一原理方法评估得快一个数量级，从而能够在长时间尺度上研究大量的原子。然而，由于其有限的数学形式，经典的原子间势或力场在其预测精度上固有地有限，这在历史上导致了在获得高计算效率的同时预测所研究系统的可靠动力学之间的基本权衡。
基于机器学习的原子间势能模型，特别是神经网络，在提供一种克服这一困境方面显示出了巨大的希望，有望从从头参考计算中学习高保真电势，同时保持良好的计算效率4-13。另一个核心区别经典力场基于分析函数是，他们通常由明确的键和非键术语，而机器学习原子间势（ML-IPs）不可知的键拓扑系统和治疗所有交互以相同的方式，基于相对原子间的位置和相互作用的化学物种。
神经网络原子间势（NN-IPs）的限制因素之一是，它们通常需要大量的从头计算训练集，通常包括数千甚至数百万个的参考结构4、9、10、14-16。这种计算成本高的训练数据收集过程严重限制了NN-IPs的采用，因为它迅速成为复杂系统力场发展的瓶颈。
在这项工作中，我们提出了神经等变原子间势（NequIP），一种高度数据高效的深度学习方法，用于从参考原始原理计算中学习原子间势。我们表明，与现有的ML-IP方法相比，该方法在各种系统中获得了较高的精度，包括小分子、不同相的水、非晶固体、固体/气体界面的反应和锂离子导体。此外，我们发现NequIP表现出特殊的数据效率，能够从小于1000个甚至只有100个参考从头计算的有限数据集构建精确的原子间势，而其他方法需要更多的数量级。
值得注意的是，在小分子数据集上，NequIP不仅优于其他神经网络，而且与基于核的方法具有竞争力，这些方法在小数据集上通常比NN-IPs获得更好的预测精度（尽管在训练和预测方面有显著的额外成本）。我们进一步证明了在量子化学耦合-团簇理论水平上获得的分子数据训练集的高数据效率和准确性。最后，我们通过一系列的模拟验证了该方法，并证明了与从头算分子动力学模拟（AIMD）相比，我们可以重现由NequIP模拟计算出的高保真的结构和动力学特性。
我们直接验证了性能增益与新的NequIP模型的唯一的E(3)-等变卷积体系结构有关。机器学习在发展原子间势位方面的第一个应用是建立在基于描述符的方法与浅层神经网络或高斯过程4,5相结合，旨在在平移、相同化学物质的原子排列和旋转方面显示不变性。最近，旋转不变图神经网络原子间势（GNN-IPs）已经成为一个强大的架构深入学习原子间的原子间势，消除了需要手工制作的描述符，而允许学习表示图原子的不变特征的几何数据（如径向距离或角度）9-11、13
在GNN-IPs中，原子结构由节点和边的集合表示，其中图中的节点对应于单个原子，而边通常通过简单地连接每个原子到所有其他原子，这些原子比某些截止距离ῠ更接近。每个节点/原子i都与一个特征hi 2 Rh相关联，该特征由标量值组成，通过基于到相邻原子的距离rij及其特征hj对相邻原子j进行一系列卷积进行迭代细化。这种迭代过程允许信息通过一系列的卷积层沿着原子图传播，并且可以被视为一个消息传递方案17。
仅在原子间距离上操作允许GNN-IPs的旋转和平移不变，使得输出和网络内部的特性都对旋转不变。相比之下，本工作中概述的方法使用相对位置向量，而不是简单的距离（标量），以及不仅由标量，而且还由高阶几何张量组成的特征。这使得内部特征与旋转等变，并允许角度信息被旋转等变滤波器使用。与其他方法类似，我们可以将卷积限制为所有其他原子的局部子集，而不是选定的截止距离rc，见图1。
最近提出了一系列相关的方法： DimeNet11扩展了在单一卷积中使用成对交互作用，包括角度、三体项，但单个特征仍然由标量组成（距离和三体角度对旋转不变），而不是在本工作中使用的向量。鸬鹚18使用一个等变神经网络对小分子进行性质预测。该方法在小分子的势能上有证明，但在原子力或具有周期边界条件的系统上没有证明。汤森等人19
利用张量场网络20的框架来直接预测原子力矢量。预测的力不能通过构造来保存能量，因为它们不能作为总势能的梯度得到。这可能会导致长期模拟分子动力学的问题。这三种方法11、18、19都没有证明进行分子动力学模拟的能力。在这个手稿的第一个版本出现在网上21之后，一系列其他的等变GNNIPs已经被提出，如PaiNN22和NewtonNet23。这两种方法都是在NequIP之后提出的，并且只使用了l = 1张量。
此外，我们还比较了一系列其他已经被提出的工作，包括GemNet24、幽灵kyNet25和UNiTE方法26。目前工作的贡献是引入深度学习节能原子间势的分子和材料建立在E(3)等变卷积在几何张量收益率最先进的精度，杰出的数据效率，可以与高保真再现结构从分子动力学特性和动力学模拟。
讨论
本文介绍了一种基于E(3)-等变神经网络计算分子和材料的势能和原子力的新机器学习方法NequIP。这些发现导致了一系列有趣的问题需要考虑：特别有趣的是，与更广泛使用的不变表示相比，等变NequIP网络的样本效率。除了关于周围的问题等方差对准确性和学习动力学的影响，对相互作用的多体特征是如何产生的一个清晰的理论理解仍然是难以捉摸的。此外，未来工作的一个有希望的方向是研究明确包括克隆交互的潜在好处，并测量在多大程度上——如果有的话——消息传递机制可能捕获的这些好处。
最后，虽然我们发现NequIP显示出极好的预测精度，泛化到不可见的阶段，以及显著的高样本效率，但一个开放的挑战仍然是深度学习原子间潜力的可解释性。经典原子间势中的能量贡献可以明确地分配给个别类型的相互作用，如成对键项或库仑或范德瓦尔斯非键相互作用。将这些物理知识明确地包含到深度学习原子间势背后的复杂功能形式中的潜在好处和最佳方法仍需要系统地探索。
另一方面，经典力场的函数形式的简单性允许这种水平的可解释性，严重限制了它们的准确性，在两种方法之间呈现出一种有趣的紧张关系。我们希望提出的方法将使计算化学、物理、生物学和材料科学的研究人员能够提高准确性和效率对复杂反应和相变进行分子动力学模拟。
,
