本发明专利技术公开了面向大型飞机外形的三角网格表征学习方法，包括：S1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；S2：针对原图应用RWPE位置编码，得到节点特征向量嵌入；S3：将节点特征向量嵌入输入图Transformer模块，将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；S4：最大池化原图特征图和对偶图特征图，并采用MLP和softmax实现大型飞机外形的三角网格的分类或分割。本发明专利技术能够结合卷积网络和Transformer架构的优势，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识。
【技术实现步骤摘要】
本专利技术属于飞机外形三角网格表征，具体涉及面向大型飞机外形的三角网格表征学习方法。
技术介绍
1、在大型飞机的设计和制造过程中，准确描述和分析飞机外形至关重要。三角网格是一种常用的图形表示方法，将物体表面划分为小三角形，并使用顶点和连接边来描述物体的形状。使用三角网格表示形式，其所包含的拓扑结构和几何信息的复杂性增加了表征学习的难度。由于三角网格的非均匀性和高维性，传统的机器学习方法难以直接应用于三角网格的表征学习。
2、深度学习是一种机器学习的分支，通过多层神经网络来学习和表征复杂的数据模式，可应用于对三角网格进行学习和表征。目前深度学习通过学习飞机三角网格的内在特征，可以完成诸如分类、分割、形状生成和重建等下游任务，但是一般需要人为的先验知识，较难提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势。
技术实现思路
1、本专利技术所要解决的技术问题是针对上述现有技术的不足，提供面向大型飞机外形的三角网格表征学习方法，能够结合卷积网络和transformer架构的优势，分别专注于局部信息和全局信息，融合二者以进行有效合并，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识。
2、为实现上述技术目的，本专利技术采取的技术方案为：
3、面向大型飞机外形的三角网格表征学习方法，包括：
4、s1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；</p>5、s2：针对原图应用rwpe位置编码，得到节点特征向量嵌入；
6、s3：将节点特征向量嵌入输入图transformer模块，将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；
7、s4：最大池化原图特征图和对偶图特征图，并采用mlp和softmax实现大型飞机外形的三角网格的分类或分割。
8、为优化上述技术方案，采取的具体措施还包括：
9、上述的s1所述原图由网格的每个面作为节点，两个相邻面之间存在边连接，所述对偶图由网格的每条边作为节点，共享同一顶点的边之间存在连接的边连接两个节点。
10、上述的s2包括：
11、步骤s21、在原图上选取一个节点p，设定随机游走的k步，计算在k次随机游走下，回到自身节点p的概率，得到一个k维的概率向量，其中网络的初始位置编码通过将rwpe位置编码嵌入到一个d维向量中得到的；
12、步骤s22、重复步骤s21，直到原图上所有节点对应的位置编码向量全部计算完毕，将所有节点的rwpe位置编码通过线性映射嵌入到d维向量中，得到节点的初始位置编码。
13、步骤s23、将节点原始特征通过线性映射嵌入到d维向量，与对应节点的初始位置编码相加，得到节点特征向量嵌入。
14、上述的s3包括：
15、步骤s31、将节点特征和对偶图特征经过一个线性映射投影到d维度的隐藏层特征；
16、步骤s32、将节点的位置编码通过线性投影embedding投影到d维度的隐藏层特征，并添加到输入的节点特征上；
17、步骤s33、使用神经网络参数kqv矩阵计算每个节点的隐式注意力分数，并将其与对偶图特征矩阵相乘以融合边信息，将输出传递给前馈网络ffn，并通过残差连接和归一化层进行分离；
18、步骤s34、将对偶图特征使用主邻域聚合图神经网络pna进行特征聚合，再使用relu激活函数层和batchnorm层消除线性和归一化；
19、步骤s35、重复步骤s34，直至达到设置的图卷积网络层数，并将所有图卷积层的特征拼接在一起，使用batchnorm对每个批次的特征进行归一化操作；
20、步骤s36、对步骤s34得到的对偶图特征图进行线性变换，作为步骤s33的输入；对步骤s33所得融合过的对偶图特征进行线性变换，作为步骤s34的输入；
21、步骤s37、重复步骤s31至s36，直至达到设置的卷积-transformer模块数量，输出原图特征图和对偶图特征图。
22、上述的步骤s33包括：
23、步骤s331、计算注意力得分，当节点i关注节点j时，计算softmax之前的一个中间注意力分数然后为边(i,j)注入边信息，并提高已经计算出的基于边的层更新方程得到输出和
24、步骤s332、将和传递给前馈网络，并通过残差连接和归一化层进行分离。
25、上述的边的层更新方程如下所示：
26、
27、
28、其中
29、
30、
31、其中qk,l，kk,l，表示可学习的参数矩阵，表示对偶图特征矩阵，表示线性层参数,k＝1到h，表示注意头的个数，‖表示连接。
32、上述的步骤s332具体如下:
33、
34、
35、
36、其中表示权重矩阵，和代表中间表示，相对地，
37、
38、
39、
40、其中表示权重矩阵，和代表中间表示。
41、上述的步骤s36包括：使用一个线性层调整特征映射维度，并重组边特征；将步骤s34得到的对偶图特征图进行线性变换后作为步骤s33的输入时，需将对偶图特征图复制一份作为反向边的特征；将对步骤s33所得融合过的对偶图特征进行线性变换后作为步骤s34的输入时，将边和反向边的特征聚合；使用batchnorm和leakyrelu用以激活和正则化特征。
42、上述的s4包括：
43、步骤s41、根据步骤s3得到的原图特征图和对偶图特征图，使用平均池化计算最终聚合的特征表示；
44、步骤s42、根据下游任务选择对应的模块：分类任务使用mlp和softmax计算类别概率，分割任务使用mlp计算每个三角网格面所对应的类别。
45、本专利技术具有以下有益效果：
46、本专利技术在图神经网络中利用几何知识和transformer对三角网格(mesh)进行表征学习，即提出一种新的网络结构meshgeoformer，通过在mesh上建立原图和对偶图的方式，最大限度的利用网格中的几何信息，实现三维数据的表征学习和处理，进而实现大型飞机外形数据的分类分割任务；在原始数据上建立原图，使用图transformer处理原图的特征图，对原图进行全局上的特征聚合；在原始数据上建立对偶图，使用图神经网络在对偶图上进行局部的特征聚合与几何信息提取；meshgeoformer采用双重结构，能够结合卷积网络和transformer架构的优势，分别专注于局部信息和全局信息，即同时对原图和对偶图进行处理并存在特定的信息交互，然后对其进行有效合并，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识；最后根据下游任务使用对应的模本文档来自技高网
...
【技术保护点】
1.面向大型飞机外形的三角网格表征学习方法，其特征在于，包括：
2.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，S1所述原图由网格的每个面作为节点，两个相邻面之间存在边连接，所述对偶图由网格的每条边作为节点，共享同一顶点的边之间存在连接的边连接两个节点。
3.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述S2包括：
4.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述S3包括：
5.根据权利要求4所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述步骤S33包括：
6.根据权利要求5所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述边的层更新方程如下所示：
7.根据权利要求5或6所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述步骤S332具体如下:
8.根据权利要求4所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述步骤S36包括：使用一个线性层调整特征映射维度，并重组边特征；将步骤S34得到的对偶图特征图进行线性变换后作为步骤S33的输入时，需将对偶图特征图复制一份作为反向边的特征；将对步骤S33所得融合过的对偶图特征进行线性变换后作为步骤S34的输入时，将边和反向边的特征聚合；使用BatchNorm和LeakyReLU用以激活和正则化特征。
9.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述S4包括：
...
【技术特征摘要】
1.面向大型飞机外形的三角网格表征学习方法，其特征在于，包括：
2.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，s1所述原图由网格的每个面作为节点，两个相邻面之间存在边连接，所述对偶图由网格的每条边作为节点，共享同一顶点的边之间存在连接的边连接两个节点。
3.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述s2包括：
4.根据权利要求1所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述s3包括：
5.根据权利要求4所述的面向大型飞机外形的三角网格表征学习方法，其特征在于，所述步骤s33包括：
6.根据权利要求5所述的面向大型飞机外形的三角网格表征学习方法，其...
【专利技术属性】
技术研发人员：魏明强，张家修，朱定坤，郭延文，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。