图像分割方法、网络的训练方法、电子设备及存储介质技术

本申请公开了一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质。该方法包括：将输入图像送入图像分割网络；获取输入图像中的第一前景目标框；基于第一前景目标框获取输入图像中的第一感兴趣区域和第一感兴趣区域特征图；将所述第一感兴趣区域划分为多个网格，基于第一感兴趣区域特征图预测第一感兴趣区域中每个网格对应的特征，获取第一感兴趣区域中每个像素点的语义特征。基于第一感兴趣区域中每个网格的特征、第一前景目标框的信息和第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。通过上述方式，能够降低图像分割占用的内存和耗时。

【技术实现步骤摘要】
图像分割方法、网络的训练方法、电子设备及存储介质
本申请涉及图像分割
，特别是涉及一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质。
技术介绍
图像分割是指对图像进行像素级分类，以将图像中的物体(例如车、人、树、天空等)区域分割出来，从而能够实现后续对目标区域的处理。图像分割的方法可以分为语义分割、实例分割和全景分割等等。语义分割可以获取到图像中的所有像素点的具体类别(例如车、人、树、天空等)，实例分割可以在获取到图像中各目标像素点的具体类别(例如车、人等)的同时，将同一类别的不同目标分割出来，全景分割结合语义分割和实例分割，对关注目标(例如车、人等)进行实例分割，对非关注目标(例如树、天空等)进行语义分割，实现全图分割。但是，现有的实例分割方法需占用大量的内存，且需耗费大量的时间，同时分割的精细度无法达到语义级别。
技术实现思路
本申请提供一种图像分割方法、图像分割网络的训练方法、电子设备及存储介质，能够解决现有的实例分割方法精细度不够，需占用大量的内存，且需耗费大量的时间的问题。为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像分割方法。该方法包括：将输入图像送入图像分割网络；利用图像分割网络获取输入图像中的第一前景目标框；利用图像分割网络基于第一前景目标框获取输入图像中的第一感兴趣区域和第一感兴趣区域特征图，其中，第一感兴趣区域为第一前景目标框在输入图像中对应的区域；利用图像分割网络将所述第一感兴趣区域划分为多个网格，利用图像分割网络基于第一感兴趣区域特征图预测第一感兴趣区域中每个网格对应的特征，利用图像分割网络获取第一感兴趣区域中每个像素点的语义特征，其中，网格对应的特征为网格中存在前景目标的概率。基于第一感兴趣区域中每个网格的特征、第一前景目标框的信息和第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像分割网络的训练方法，该方法包括：将训练图像送入图像分割网络；利用图像分割网络获取训练图像的第二基础特征图；利用图像分割网络基于第二基础特征图获取训练图像中的第二感兴趣区域和第三感兴趣区域特征图；利用图像分割网络将第二感兴趣区域划分为多个网格，利用图像分割网络基于第三感兴趣区域特征图预测第二感兴趣区域中每个网格对应的特征，利用图像分割网络对所述第二基础特征图进行语义分割，以得到第二语义分割特征图；基于第二感兴趣区域中每个网格对应的特征和第一真值之间的差异获取图像分割网络的第一损失，基于第二语义分割特征图与第二真值之间的差异获取图像分割网络的第二损失；基于第一损失和所述第二损失调整图像分割网络的权值。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。通过上述方式，本申请通过图像分割网络获取输入图像中的的第一前景目标框，基于第一前景目标框获取输入图像的第一基础特征图和第一感兴趣区域特征图，对第一感兴趣区域进行网格化的目标定位，从而能够快速实现对第一感兴趣区域中前景目标的粗定位，并利用图像分割网络获取第一感兴趣区域中每个像素点的语义特征，从而能够结合第一感兴趣区域中前景目标的粗定位结果和每个像素点的语义特征获取实例分割结果。相比于MaskR-CNN利用分割分支对第一感兴趣区域特征图进行实例分割的方式，提高了分割的粒度。并且，由于MaskR-CNN的分割分支需要获取其对应的第一感兴趣区域特征图中各特征点属于各类别的概率，因此其输出的特征图大小为C(类别数量)×H(感兴趣区域特征图高)×W(感兴趣区域特征图宽)，而本申请中的图像分割网络只是对各网格是否存在目标进行预测，将输出减小到1×S2，因此降低了图像分割所需占用的内存以及所需耗费的时间。附图说明图1是本申请图像分割方法一实施例的流程示意图；图2是本申请图像分割网络的架构示意图；图3是图2中S12的具体流程示意图；图4是图3中S122的具体流程示意图；图5是图4中S1223的具体流程示意图；图6是图1中S14的具体流程示意图；图7是图1中S15的具体流程示意图；图8是本申请图像分割网络的训练方法实施例一的流程示意图；图9是图8中S23的具体流程示意图；图10是本申请图像分割网络的训练方法实施例二的流程示意图；图11本申请电子设备一实施例的结构示意图；图12是本申请存储介质一实施例的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。图1是本申请图像分割方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：S11：将输入图像送入图像分割网络。结合图2所示的图像分割网络架构对本申请提供的方法进行说明。如图2所示，图像分割网络可以包括主干网络、区域候选框网络、第一感兴趣区域对齐层、框分支、第二感兴趣区域对齐层、网格分支和语义分支。其中，主干网络可以是Resnet+FPN、VGG等CNN网络，也可以包含空间注意力模块和通道注意力模块。主干网络可以对图像进行浅层和深层的特征提取。区域候选框网络可以生成前景目标的候选框。框分支可以由卷积层和全卷积层构成。网格分支可以由卷积和全卷积构成，也可以由卷积和2D自适应池化层构成。语义分支可以由卷积、反卷积和按元素操作层构成，还可以包含多分辨率特征图连接操作。相比于MaskR-CNN，该图像分割网络去掉了分割分支，增加了网格分支和语义分支。即该图像分割网络通过网格分支和语义分支来实现分割。S12：利用图像分割网络获取输入图像中的第一前景目标框的信息。第一前景本文档来自技高网...

【技术保护点】
1.一种图像分割方法，其特征在于，包括：/n将输入图像送入图像分割网络；/n利用所述图像分割网络获取所述输入图像中的第一前景目标框；/n利用所述图像分割网络基于所述第一前景目标框获取所述输入图像中的第一感兴趣区域和第一感兴趣区域特征图，其中，所述第一感兴趣区域为所述第一前景目标框在所述输入图像中对应的区域；/n利用所述图像分割网络将所述第一感兴趣区域划分为多个网格，利用所述图像分割网络基于所述第一感兴趣区域特征图预测所述第一感兴趣区域中每个所述网格对应的特征，利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，其中，所述网格对应的特征为所述网格中存在前景目标的概率；/n基于所述第一感兴趣区域中每个所述网格的特征、所述第一前景目标框的信息和所述第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。/n

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：
将输入图像送入图像分割网络；
利用所述图像分割网络获取所述输入图像中的第一前景目标框；
利用所述图像分割网络基于所述第一前景目标框获取所述输入图像中的第一感兴趣区域和第一感兴趣区域特征图，其中，所述第一感兴趣区域为所述第一前景目标框在所述输入图像中对应的区域；
利用所述图像分割网络将所述第一感兴趣区域划分为多个网格，利用所述图像分割网络基于所述第一感兴趣区域特征图预测所述第一感兴趣区域中每个所述网格对应的特征，利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，其中，所述网格对应的特征为所述网格中存在前景目标的概率；
基于所述第一感兴趣区域中每个所述网格的特征、所述第一前景目标框的信息和所述第一感兴趣区域中每个像素点的语义特征，获取实例分割结果。


2.根据权利要求1所述的方法，其特征在于，所述第一前景目标框的信息包括第一前景目标框的类别，所述基于所述第一感兴趣区域中每个所述网格的特征、所述前景目标框和所述第一感兴趣区域中每个像素点的语义特征，获取实例分割结果，包括：
基于所述第一感兴趣区域中每个所述网格对应的特征确定所述第一感兴趣区域中存在所述前景目标的区域，基于所述第一感兴趣区域中每个像素点的语义特征，确定所述第一感兴趣区域中对应所述像素点的类别，其中，所述存在前景目标的区域对应的所述网格对应的特征大于预设概率阈值；
基于所述第一感兴趣区域中每个所述像素点的类别，确定所述存在前景目标的区域中属于所述第一前景目标框的类别的像素点，作为所述实例分割结果。


3.根据权利要求1所述的方法，其特征在于，所述利用所述图像分割网络获取所述输入图像中的第一前景目标框，包括：
利用所述图像分割网络获取所述输入图像中的第一基础特征图；
利用所述图像分割网络基于所述第一基础特征图获取所述输入图像中的第一前景目标框。


4.根据权利要求3所述的方法，其特征在于，所述第一前景目标框的信息包括所述第一前景目标框的位置，所述利用所述图像分割网络获取所述第一感兴趣区域中每个像素点的语义特征，包括：
利用所述图像分割网络对所述第一基础特征图进行语义分割，得到所述输入图像中所述各像素点对应的第一语义分割特征图；
基于所述第一前景目标框的位置确定所述第一感兴趣区域中每个像素点在所述第一语义分割特征图中对应的特征，作为对应所述第一感兴趣区域中所述像素点的语义特征。


5.根据权利要求3所述的方法，其特征在于，所述利用所述图像分割网络基于所述第一基础特征图获取所述输入图像中的第一前景目标框，包括：
利用所述图像分割网络基于所述第一基础特征图，获取所述输入图像中的第一前景候选框；
利用所述图像分割网络基于所述第一前景候选框和所述第一基础特征图，获取所述输入图像中的第二感兴趣区域特征图；
利用所述图像分割网络基于所述第二感兴趣区域特征图，获取所述第一前景目标框。


6.根据权利要求5所述的方法，其特征在于，所述利用所述图像分割网络基于所述第二感兴趣区域特征图，获取所述第一前景目标框，包括：
利用所述图像分割网络获取所述第二感兴趣区域特征图对应的框分类特征图和框回归特征图，其中，所述框分类特征图用于表示所述第一前景候选框属于各类别的概率，所述第一框回归特征图用于表示所述第一前景目标框相对于所述第一前景候选框的偏移；
基于所述第二感兴趣区域特征图对应的框分类特征图和所述第二感兴趣区域特征图对应的框回归特征图获取所述第一前景目标框的信息。


7.根据权利要求6所述的方法，其特征在于，所述第一前景目标框的信息还包括所述第一前景目标框的位置和所述第一前景目标框的类别，所述基于所述第二感兴趣区域特征图对应的框分类特征图和所述第二感兴趣区域特征图对应的框回归特征图获取所述第一前景目标框的信息，包括：
对所述第二感兴趣区域特征图对应的框分类特征图进行阈值过滤处理，得到所述第一前景目标框的类别；对所述第二感兴趣区域特征图对应的框回归特征图与所述第一前景候选框的位置进行偏移变换，得到所述第一前景目标框的位置。


8.根据权利要求1所述的方法，其特征在于，在所述利用所述图像分割网络获取所述输入图像中的第一前景目标框的信息之前，包括：
对所述图像分割网络进行训练。


9.根据权利要求8所述的方法，其特征在于，所述对所述图像分割网络进行训练，包括：
将训练图像送入所述图像分割网络；
利用所述图像分割网络获取所述训练图像的第二基础特征图；
利用所述图像分割网络基于所述第二基础特征图获取所述训...

【专利技术属性】
技术研发人员：郑幽娴，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33