一种同时识别与分割手绘草图的方法、系统、设备与介质技术方案

一种手绘草图同时识别与分割的方法、系统、设备与介质，方法包括：从手绘草图采集软件得到可缩放矢量图形格式的手绘草图，转换为RGB格式图像和图格式数据；构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络；将RGB格式手绘草图图像输入卷积神经网络流，得到表征手绘草图类别的全局特征和类别识别结果；将图格式的手绘草图数据输入给图卷积网络流，得到笔画级特征和点级特征，并把全局特征、笔画级特征、点级特征拼接，实现点级分割；利用KL散度方法实现对分割结果的监督；其系统、设备及介质用于对手绘草图同时识别与分割；本发明专利技术能够同时进行手绘草图识别和分割任务，较仅分割或仅识别任务更高效，提高了手绘草图识别与分割的精度。草图识别与分割的精度。草图识别与分割的精度。

【技术实现步骤摘要】
一种同时识别与分割手绘草图的方法、系统、设备与介质


[0001]本专利技术属于人工智能
，具体涉及一种同时识别与分割手绘草图的方法、系统、设备与介质。

技术介绍

[0002]随着电子设备和压力传感设备的发展，人们开始逐渐改变传统的纸笔手绘方式，越来越多的人选择使用触摸屏设备(iPad、手绘板等)进行手绘草图。草图是产品设计中最重要的活动之一，被广泛应用于设计认知及设计思维研究，对于设计概念的定位、发展、表达、推演、形成都有着不可替代的作用。
[0003]随着互联网的发展及技术的不断进步，计算机的计算能力得到很大提高，卷积神经网络作为人工智能
最成熟的分支之一，在图像识别，分割等领域取得了极大的成功。图卷积网络作为解决图问题被提出来的网络，已被证明在图节点聚类、图分割等问题上很有成效。手绘草图相对于传统图像，最大的区别在于其具有有序性，在绘制时，人们一笔一笔进行绘制。在绘制完毕后，可以同时使用其作为图像的特性和作为图的特性，取得更好的识别分割结果。但是目前主流的做法是直接使用卷积神经网络做识别，使用循环神经网络或图神经网络做分割，未同时利用手绘草图的图像和图特性。
[0004]专利申请CN112580614A一种基于注意力机制的手绘草图识别方法，该方法包括将原始手绘草图输入到一个深度卷积神经网络中，得到最后一个卷积层输出的特征图；将特征图输入到一个通道注意力模块中，得到基于通道注意力优化后的特征图；训练一个用于预测手绘草图垂直翻转的分类网络，将原始手绘草图输入到训练好的分类网络中，得到垂直翻转空间注意力图；联合基于通道注意力优化后的特征图和垂直翻转空间注意力图，计算得到垂直翻转空间注意力优化后的特征图；最后经过全连接层输出识别的结果。但是，该专利技术只能实现手绘草图的识别。

技术实现思路

[0005]为了解决上述问题，本专利技术的目的在于提供一种同时识别与分割手绘草图的方法、系统、设备与介质，充分利用卷积神经网络提取全局特征以及图卷积网络提取点级特征的优势，使用卷积神经网络的全局特征对图卷积网络的特征进行增广，使用卷积神经网络的类别识别结果对图卷积网络的分割结果进行监督，可以同时进行手绘草图的识别与分割，并利用识别结果来优化分割结果，提高手绘草图识别与分割的精度。
[0006]本专利技术所采用的技术方案是：
[0007]一种同时识别与分割手绘草图的方法，包括以下步骤：
[0008]S1，从手绘草图采集软件得到可缩放矢量图形格式的手绘草图，转换得到RGB格式的图像和图格式的数据；
[0009]S2，构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络；
[0010]S3，将S1得到的RGB格式的手绘草图图像输入给S2得到的卷积神经网络流，得到表
征手绘草图类别的全局特征和类别识别结果；
[0011]S4，将S1得到的图格式的手绘草图数据输入给图卷积网络流，得到笔画级特征和点级特征，并把全局特征、笔画级特征、点级特征进行拼接，进而实现点级分割；
[0012]S5，根据每个手绘草图类别应该包含的组件类别这一先验信息以及根据S3得到的卷积神经网络流的类别识别结果，利用KL散度方法实现对S4分割结果的监督。
[0013]进一步的，所述S1中，可缩放矢量图形格式的手绘草图数据从手绘绘制软件中获得，把可缩放矢量图形转化为RGB图像，从可缩放矢量图形中提取点序列来生成图，作为同时识别与分割网络的输入。
[0014]进一步的，所述S2中，构建的基于卷积神经网络和图卷积网络的双流网络模型同时接受同一个手绘的RGB图像格式数据和图结构数据作为输入，卷积神经网络流采用ResNet18作为骨干网络，图卷积网络流采用四层动态图卷积作为骨干网络，卷积神经网络流给图卷积网络流提供全局特征和分类结果推导出的组件预测概率作为监督信息；构建的基于卷积神经网络和图卷积网络的双流网络模型在训练过程中的损失函数为L＝L
c
+λ1L
s
+λ2L
kl
，其中L
c
为卷积神经网络流的手绘类别分类的交叉熵损失，L
s
为图卷积网络流的点级组件预测的交叉熵损失，λ1和λ2为权重系数。
[0015]进一步的，所述S3的具体方法为：将RGB格式的手绘草图图像输入给卷积神经网络流，卷积神经网络的最后一层全连接层的特征作为表征手绘类别的全局特征，分类器的输出作为手绘类别的识别结果；根据每种手绘类别应该包含的组件这一先验信息，构建手绘类别到组件类别的转换矩阵其中当第i类手绘包含第j种组件时M(i,j)＝1，否则M(i,j)＝0；在S3得到N
C
维手绘类别的识别概率后，计算可以得到组件的N
S
维预测概率
[0016]进一步的，所述S4的具体方法为：将图格式的手绘草图数据输入给图卷积网络流，先对可缩放矢量图形格式的数据进行采样操作，确保输入给图卷积网络的节点的数目恒定为N
P
；然后对图卷积网络学习到的点级特征，根据可缩放矢量图形格式中包含的每个手绘的每个笔画包含的点的信息，对属于同一个笔画的所有点的特征进行池化操作，得到笔画级特征；把每个点的点级特征、其所属的笔画级特征、以及卷积神经网络流输出的全局特征进行拼接，得到每个点的多尺度特征，进而通过分类器进行组件类别预测，得到第i个点的组件预测概率
[0017]进一步的，对可缩放矢量图形格式的数据进行采样操作的具体采样策略为：若当前手绘草图绘制序列中点的数量大于N
P
,按照各个笔画的点的数量占手绘草图总点数量的百分比等比例减少各个笔画的点的数量；若存在某笔画在减少点的数量前所占比例过少，则不减少该笔画中点的数量。
[0018]进一步的，所述S5中，所述S5中，对S4中得到的按下式计算得到组件级的预测概率其中V
j
表示第j个笔画包含的点的集合，|V
j
|表示集合中点的个数，J表示该手绘中笔画的个数；进而利用KL散度实现类别识别结果对组
件预测概率的监督，监督方式为神经网络增加损失函数使用损失函数L对整个双流网络模型进行训练优化，使得该模型可以同时进行手绘草图的识别与分割，并利用识别结果来优化分割结果，提高手绘草图识别与分割的精度。
[0019]一种同时识别与分割手绘草图的系统，包括：
[0020]数据转换模块，用于将可缩放矢量图形格式的手绘数据转化为RGB图像数据和图格式的手绘数据，作为网络模型的输入。
[0021]双流网络模块，用于对数据转换模块处理的数据同时进行手绘的类别识别和组件分割。
[0022]训练优化模块，用于构建损失函数并利用深度学习训练方法实现对本专利技术双流网络模型的训练优化。
[0023]一种同时识别与分割手绘草图的设备，包括：
[0024]存储器，用于存储计算机程序；
[0025]处理器，用于执行所述计算机程序时实现步骤S1至S5所述一种同时识别与分割手绘草本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同时识别与分割手绘草图的方法，其特征在于：具体包括以下步骤：S1，从手绘草图采集软件得到可缩放矢量图形格式的手绘草图，转换得到RGB格式的图像和图格式的数据；S2，构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络；S3，将S1得到的RGB格式的手绘草图图像输入给S2得到的卷积神经网络流，得到表征手绘草图类别的全局特征和类别识别结果；S4，将S1得到的图格式的手绘草图数据输入给图卷积网络流，得到笔画级特征和点级特征，并把全局特征、笔画级特征、点级特征进行拼接，进而实现点级分割；S5，根据每个手绘草图类别应该包含的组件类别这一先验信息以及根据S3得到的卷积神经网络流的类别识别结果，利用KL散度方法实现对S4分割结果的监督。2.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S1中，可缩放矢量图形格式的手绘草图数据从手绘绘制软件中获得，把可缩放矢量图形转化为RGB图像，从可缩放矢量图形中提取点序列来生成图，作为同时识别与分割网络的输入。3.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S2中，构建的基于卷积神经网络和图卷积网络的双流网络模型同时接受同一个手绘的RGB图像格式数据和图结构数据作为输入，卷积神经网络流采用ResNet18作为骨干网络，图卷积网络流采用四层动态图卷积作为骨干网络，卷积神经网络流给图卷积网络流提供全局特征和分类结果推导出的组件预测概率作为监督信息；构建的基于卷积神经网络和图卷积网络的双流网络模型在训练过程中的损失函数为L＝L
c
+λ1L
s
+λ2L
kl
，其中L
c
为卷积神经网络流的手绘类别分类的交叉熵损失，L
s
为图卷积网络流的点级组件预测的交叉熵损失，λ1和λ2为权重系数。4.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S3的具体方法为：将RGB格式的手绘草图图像输入给卷积神经网络流，卷积神经网络的最后一层全连接层的特征作为表征手绘类别的全局特征，分类器的输出作为手绘类别的识别结果；根据每种手绘类别应该包含的组件这一先验信息，构建手绘类别到组件类别的转换矩阵其中当第i类手绘包含第j种组件时M(i,j)＝1，否则M(i,j)＝0；在S3得到N
C
维手绘类别的识别概率后，计算可以得到组件的N
S
维...

【专利技术属性】
技术研发人员：朱光明，张亮，汪思远，高尔扬，李宁，
申请(专利权)人：中国船舶集团有限公司综合技术经济研究院，
类型：发明
国别省市：