基于边特征更新聚合注意力机制的量子化学性质计算方法技术

本发明专利技术公开了一种基于边特征更新聚合注意力机制的量子化学性质计算方法，属于量子化学计算领域，包括以下步骤：构建图注意力机制和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；构建分子表示图，基于特征嵌入模块获取分子表示图中分子的节点特征和边特征，将节点特征和边特征输入到NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于输出模块进行处理，输出分子的量子化学性质。本发明专利技术可以提高计算精度，在小数据集上也具有更好的泛化能力，证明了注意力机制在结合机器学习和计算化学上的可行性。可行性。可行性。

【技术实现步骤摘要】
基于边特征更新聚合注意力机制的量子化学性质计算方法


[0001]本专利技术属于量子化学计算领域，特别是涉及一种基于边特征更新聚合注意力机制的量子化学性质计算方法。

技术介绍

[0002]根据分子结构预测分子的量子化学性质对分子筛选和药物设计具有重要意义。分子的量子化学性质可以通过多体薛定谔方程精确求解。但是，该方法仅适用于简单系统。因此，研究人员经常利用密度泛函理论（DFT）来近似求解复杂系统。可是，DFT原理计算方法的计算成本是巨大的。近年来，通过机器学习方法来减少计算量被证明是可行的。机器学习方法具有使计算时间下降几个数量级而损失少许精度的潜力。
[0003]然而，在传统机器学习中预测分子性质的任务中通常需要人类先验知识对原始数据进行编码，大部分机器学习方法依赖与手工制作的描述符，如库仑矩阵、键袋、扩展链接指纹、圆形指纹和分子指纹等。这种手工编码方法在不同分子结构体系中需要独立设计，存在较弱的通用性。随着大量分子和材料数据的出现，该类研究正朝着向数据驱动的表征学习转变。因此，更为常见的方法使用非欧结构来表示分子，可以将分子视为分子图（距离图、化学图、方向图）。图神经网络通过对节点和边上的特征进行学习而不是依赖手工制作的特征来预测属性，利用节点特征及其邻接计算原子的低维表示，并通过低维表示来估计分子化学性质的局部贡献，用于下游任务预测或逆向生成，这种端到端的架构，可以同时处理不同体系的分子及化合物。此外，图神经网络方法还具备模拟原子间复杂相互作用的能力，图神经网络的置换不变性可用于建模多原子系统的对称性，从而为分子的表征提供更接近第一性原理的特征提取。因此，图模型可以帮助一系列化学动力学计算，可以得到分子振转光谱、化学反应速率常数、反应共振等信息。
[0004]虽然使用图深度学习的方法可以满足化学数据的编码并提高量子化学计算的速度，但该类模型对训练数据的分布极为敏感。在训练数据较少的情况下，深度学习模型会出现过拟合，而且影响了模型的表征能力。
[0005]因此，亟需提出一种基于边特征更新聚合注意力机制的量子化学性质计算方法，提高计算精度，能够用于更多的下游任务，如可解释的深度学习架构，量子化学计算、三维几何的生成模型及波函数的预测，以辅助化学工作，对人工智能和化学的交叉领域具有重要价值。

技术实现思路

[0006]本专利技术的目的是提供一种基于边特征更新聚合注意力机制的量子化学性质计算方法，首先，将原子序数作为初始节点特征，欧氏距离作为初始边特征，将分子数据处理成一个分子表示图来保持原子系统的基本对称性，如旋转和平移不变性以及原子索引的置换不变性；其次，提出了一种新颖的图注意力机制，通过对边特征的注意力，可以更好地捕捉原子之间的相互作用；再次，设计了一种新型消息传递函数，即边特征更新策略，该方法能
够动态更新图上的节点和边特征以提高图模型的表征能力；最后将该模型应用于12个量子化学回归任务中，以解决上述现有技术存在的问题。
[0007]为实现上述目的，本专利技术提供了一种基于边特征更新聚合注意力机制的量子化学性质计算方法，包括以下步骤：在预测分子化学性质的场景中，构建图注意力机制和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；构建分子表示图，基于所述特征嵌入模块获取所述分子表示图中分子的节点特征和边特征，将所述节点特征和边特征输入到所述NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于所述输出模块进行处理，最终输出分子的量子化学性质。
[0008]优选地，将所述边特征输入到所述NEAA交互模块之前还包括：基于径向基函数对所述边特征进行扩展，获得高维向量，并对所述高维特征进行线性变换，获得变换后的边的高维特征。
[0009]优选地，进行消息传递和特征更新的过程包括：基于边更新函数对所述边特征进行更新，获得更新后的边特征，基于消息函数对所述节点特征和更新后的边特征进行若干次消息传递，基于节点更新函数对所述节点特征进行更新，获得更新后的节点特征，最后基于图注意机制整合更新后的边特征和更新后的节点特征；其中，所述边更新函数、消息函数和节点更新函数均为消息传递函数。
[0010]优选地，构建图注意机制的过程包括：基于所述消息函数，对注意力矩阵、节点特征和更新后的边特征进行逐元素乘法的运算，并向所述节点更新函数进行消息传递；所述节点更新函数接收传递的数据，并和节点特征进行逐元素加法的运算，获得更新后的节点特征，进而实现所述更新后的边特征和更新后的节点特征的整合。
[0011]优选地，所述注意力矩阵的生成过程包括：获取单个注意力头，对所有的单个注意力头进行拼接获得注意力矩阵。
[0012]优选地，获取单个注意力头的过程包括：基于若干个可训练的权重矩阵对节点特征和边的高维特征进行处理，并进行逐元素加法的运算，获得单个注意力头中的每个元素，进而获得单个注意力头。
[0013]优选地，基于所述输出模块处理分子中每个原子的节点特征的过程包括：所述节点特征在经过若干次消息传递后，输出最终的节点特征，基于多层神经网络对所述最终的节点特征进行处理后，进行线性变换，获得每个原子的贡献；对分子中每个原子的贡献进行求和处理，获得分子的量子化学性质。
[0014]优选地，改进后的消息传递神经网络模型的代价函数如下式所示：
[0015]其中，表示分子量子化学性质的真实值，表示在给定分子表示图的
情况下计算的分子量子化学性质，表示数据样本的总数。
[0016]本专利技术的技术效果为：本专利技术的计算分子量子化学性质的方法融合了边特征更新与注意力机制，能够达到更小的拟合误差。
[0017]本专利技术提出的用于计算分子量子化学性质的方法，可以更好地捕捉分子的固有特征。与现有方法相比，本专利技术可以提高计算精度，而且在小数据集上也具有更好的泛化能力，证明了注意力机制在结合机器学习和计算化学上的可行性。
附图说明
[0018]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例中的改进后的消息传递神经网络模型的框架示意图；图2为本专利技术实施例中的新颖的图注意机制的结构示意图；图3为本专利技术实施例中的性能比较示意图，其中，（a）为不同头数模型在性质U上的性能比较示意图、（b）为不同头数模型在性质U0上的性能比较示意图、（c）为不同头数模型在性质G上的性能比较示意图，（d）为不同层数模型的性能在性质U上比较示意图、（e）为不同层数模型的在性质U0上性能比较示意图、（f）为不同层数模型的在性质G上性能比较示意图。
具体实施方式
[0019]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0020]需要说明的是，在附图的流程图示出的步骤可以在诸如一组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，包括以下步骤：在预测分子化学性质的场景中，构建图注意力机制和消息传递函数改进消息传递神经网络模型，改进后的消息传递神经网络模型包括特征嵌入模块、NEAA交互模块、边特征更新模块和输出模块；构建分子表示图，基于所述特征嵌入模块获取所述分子表示图中分子的节点特征和边特征，将所述节点特征和边特征输入到所述NEAA交互模块和边特征更新模块进行若干次消息传递和特征更新，获得更新后的节点特征和边特征并基于所述输出模块进行处理，最终输出分子的量子化学性质。2.根据权利要求1所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，将所述边特征输入到所述NEAA交互模块之前还包括：基于径向基函数对所述边特征进行扩展，获得高维向量，并对所述高维特征进行线性变换，获得变换后的边的高维特征。3.根据权利要求1所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，进行消息传递和特征更新的过程包括：基于边更新函数对所述边特征进行更新，获得更新后的边特征，基于消息函数对所述节点特征和更新后的边特征进行若干次消息传递，基于节点更新函数对所述节点特征进行更新，获得更新后的节点特征，最后基于图注意机制整合更新后的边特征和更新后的节点特征；其中，所述边更新函数、消息函数和节点更新函数均为消息传递函数。4.根据权利要求3所述的基于边特征更新聚合注意力机制的量子化学性质计算方法，其特征在于，构建图注意机制的过程包括：基...

【专利技术属性】
技术研发人员：魏宪，俞辉，郭杰龙，兰海，郐一鸣，李杰，张剑锋，邵东恒，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：