语义分割模型的训练方法和语义分割方法、装置制造方法及图纸

本公开提供了一种语义分割模型的训练方法和语义分割方法，涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习领域。语义分割模型的训练方法的具体实现方案为：根据无标签的第一图像，采用语义分割模型得到针对第一图像的多个第一掩膜特征图和与多个第一掩膜特征图对应的多个第一类别信息；根据第一图像，采用语义分割模型的教师模型得到针对第一图像的多个第二掩膜特征图和与多个第二掩膜特征图对应的多个第二类别信息；根据多个第二掩膜特征图和多个第二类别信息，确定针对第一图像的伪标签信息；以及根据多个第一掩膜特征图、多个第一类别信息和伪标签信息，对语义分割模型进行训练。其中，教师模型与语义分割模型的网络结构相同。型的网络结构相同。型的网络结构相同。

【技术实现步骤摘要】
语义分割模型的训练方法和语义分割方法、装置


[0001]本公开涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习领域，尤其涉及一种语义分割模型的训练方法和语义分割方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用深度学习技术构建的模型进行图像识别，以进行目标检测、目标跟踪和目标分割。模型学习能力和精度的提高是重要且具有挑战性的工作。

技术实现思路

[0003]本公开旨在提供一种提高模型学习能力和分割精度的语义分割模型的训练方法和语义分割方法、装置、电子设备、存储介质。
[0004]根据本公开的一个方面，提供了一种语义分割模型的训练方法，包括：根据无标签的第一图像，采用语义分割模型得到针对第一图像的多个第一掩膜特征图和与多个第一掩膜特征图对应的多个第一类别信息；根据第一图像，采用语义分割模型的教师模型得到针对第一图像的多个第二掩膜特征图和与多个第二掩膜特征图对应的多个第二类别信息；根据多个第二掩膜特征图和多个第二类别信息，确定针对第一图像的伪标签信息；以及根据多个第一掩膜特征图、多个第一类别信息和伪标签信息，对语义分割模型进行训练，其中，教师模型的网络结构与语义分割模型的网络结构相同。
[0005]根据本公开的一个方面，提供了一种语义分割方法，包括：将待处理图像输入语义分割模型，得到针对待处理图像的多个第四掩膜特征图和与多个第四掩膜特征图对应的多个预测类别信息；根据多个预测类别信息和多个第四掩膜特征图，确定待处理图像包括的至少一类物体的类别和至少一类物体的位置信息，其中，语义分割模型是采用本公开提供语义分割模型的训练方法训练的。
[0006]根据本公开的一个方面，提供了一种语义分割模型的训练装置，包括：第一图像分割模块，用于根据无标签的第一图像，采用语义分割模型得到针对第一图像的多个第一掩膜特征图和与多个第一掩膜特征图对应的多个第一类别信息；第二图像分割模块，用于根据第一图像，采用语义分割模型的教师模型得到针对第一图像的多个第二掩膜特征图和与多个第二掩膜特征图对应的多个第二类别信息；伪标签确定模块，用于根据多个第二掩膜特征图和多个第二类别信息，确定针对第一图像的伪标签信息；以及第一模型训练模块，用于根据多个第一掩膜特征图、多个第一类别信息和伪标签信息，对语义分割模型进行训练，其中，教师模型的网络结构与语义分割模型的网络结构相同。
[0007]根据本公开的一个方面，提供了一种语义分割装置，包括：图像分割模型，用于将待处理图像输入语义分割模型，得到针对待处理图像的多个第四掩膜特征图和与多个第四掩膜特征图对应的多个预测类别信息；信息确定模块，用于根据多个预测类别信息和多个第四掩膜特征图，确定待处理图像包括的至少一类物体的类别和至少一类物体的位置信
息，其中，语义分割模型是采用本公开提供的语义分割模型的训练装置训练的。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的语义分割模型的训练方法和/或语义分割方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的语义分割模型的训练方法和/或语义分割方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令在被处理器执行时实现本公开提供的语义分割模型的训练方法和/或语义分割方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的语义分割模型的训练方法和语义分割方法、装置的应用场景示意图；
[0014]图2是根据本公开实施例的语义分割模型的训练方法的流程示意图；
[0015]图3是根据本公开实施例的语义分割模型的结构示意图；
[0016]图4是根据本公开实施例的语义分割模型的对比损失的原理示意图；
[0017]图5是根据本公开实施例的语义分割模型的一致性损失的原理示意图；
[0018]图6是根据本公开实施例的语义分割方法的流程示意图；
[0019]图7是根据本公开实施例的语义分割模型的训练装置的结构框图；
[0020]图8是根据本公开实施例的语义分割装置的结构框图；以及
[0021]图9是用来实施本公开实施例的语义分割模型的训练方法和/或语义分割方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]本公开提供了一种语义分割模型的训练方法，该方法包括：第一分割阶段、第二分割阶段、伪标签确定阶段和模型训练阶段。在第一分割阶段中，根据无标签的第一图像，采用语义分割模型得到针对第一图像的多个第一掩膜特征图和与多个第一掩膜特征图对应的多个第一类别信息。在第二分割阶段中，根据第一图像，采用语义分割模型的教师模型得到针对第一图像的多个第二掩膜特征图和与多个第二掩膜特征图对应的多个第二类别信息。在伪标签确定阶段中，根据多个第二掩膜特征图和多个第二类别信息，确定针对第一图
像的伪标签信息。在模型训练阶段中，根据多个第一掩膜特征图、多个第一类别信息和伪标签信息，对语义分割模型进行训练。其中，教师模型的网络结构与语义分割模型的网络结构相同。
[0024]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0025]图1是根据本公开实施例的语义分割模型的训练方法和语义分割方法、装置的应用场景示意图。
[0026]如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0027]该电子设备110例如可以对输入的图像120进行识别，识别得到该图像120中物体的类别和该物体在图像120中的位置信息。具体地，电子设备110通过对图像120进行识别，可以得到图像120中各像素的类别，根据图像120中各像素的类别，可以确定图像120中包括的物体的类别及该物体的位置信息。或者，电子设备110通过对图像120进行识别，可以预测得到多个掩膜图和各掩膜图的类别。每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割模型的训练方法，包括：根据无标签的第一图像，采用所述语义分割模型得到针对所述第一图像的多个第一掩膜特征图和与所述多个第一掩膜特征图对应的多个第一类别信息；根据所述第一图像，采用所述语义分割模型的教师模型得到针对所述第一图像的多个第二掩膜特征图和与所述多个第二掩膜特征图对应的多个第二类别信息；根据所述多个第二掩膜特征图和所述多个第二类别信息，确定针对所述第一图像的伪标签信息；以及根据所述多个第一掩膜特征图、所述多个第一类别信息和所述伪标签信息，对所述语义分割模型进行训练，其中，所述教师模型的网络结构与所述语义分割模型的网络结构相同。2.根据权利要求1所述的方法，其中，所述伪标签信息指示与所述第一图像包括的至少一类物体对应的至少一个第一掩膜图像和与所述至少一类物体对应的至少一个第一类别；所述根据所述多个第一掩膜特征图、所述多个第一类别信息和所述伪标签信息，对所述语义分割模型进行训练包括：根据所述多个第一掩膜特征图和所述至少一个第一掩膜图像，确定所述语义分割模型的对比损失；根据所述多个第一类别信息和所述至少一个第一类别，确定所述语义分割模型的一致性损失；以及根据所述对比损失和所述一致性损失，对所述语义分割模型进行训练。3.根据权利要求2所述的方法，其中，所述语义分割模型包括像素级解码网络；所述方法还包括：根据所述第一图像，采用所述语义分割模型的像素级解码网络得到所述第一图像的像素级特征图；其中，所述根据所述多个第一掩膜特征图和所述至少一个第一掩膜图像，确定所述语义分割模型的对比损失包括：根据所述像素级特征图和所述多个第一掩膜特征图，得到与所述多个第一掩膜特征图对应的多个第一区域特征图；根据所述像素级特征图和所述至少一个第一掩膜图像，得到与所述至少一个第一掩膜图像对应的至少一个第二区域特征图；以及根据所述多个第一区域特征图和所述至少一个第二区域特征图，确定所述对比损失包括的区域特征对比损失。4.根据权利要求2或3所述的方法，其中，所述根据所述多个第一掩膜特征图和所述至少一个第一掩膜图像，确定所述语义分割模型的对比损失包括：采用匹配算法匹配所述多个第一掩膜特征图和所述至少一个第一掩膜图像，得到至少一个匹配图对，每个匹配图对包括一个第一掩膜特征图和一个第一掩膜图像；以及针对所述至少一个匹配图对，根据属于同一匹配图对的第一掩膜特征图和第一掩膜图像之间的差异以及不属于同一匹配图对的第一掩膜特征图和第一掩膜图像之间的差异，确定所述对比损失包括的掩膜对比损失。5.根据权利要求3所述的方法，其中，所述根据所述多个第一区域特征图和所述至少一
个第二区域特征图，确定所述对比损失包括的区域特征对比损失包括：采用匹配算法匹配所述多个第一掩膜特征图和所述至少一个第一掩膜图像，得到至少一个匹配图对，每个匹配图对包括一个第一掩膜特征图和一个第一掩膜图像；针对属于同一匹配图对中的第一掩膜特征图和第一掩膜图像，根据与第一掩膜特征图对应的第一区域特征图和与第一掩膜图像对应的第二区域特征图之间的差异，得到第一差异；针对不属于同一匹配图对中的第一掩膜特征图和第一掩膜图像，根据与第一掩膜特征图对应的第一区域特征图和与第一掩膜图像对应的第二区域特征图之间的差异，得到第二差异；以及根据所述第一差异和所述第二差异，确定所述区域特征对比损失。6.根据权利要求2所述的方法，其中，所述根据所述多个第一类别信息和所述至少一个第一类别，确定所述语义分割模型的一致性损失包括：采用匹配算法匹配所述多个第一掩膜特征图和所述至少一个第一掩膜图像，得到至少一个匹配图对，每个匹配图对包括一个第一掩膜特征图和一个第一掩膜图像；以及对属于同一匹配图对中的第一掩膜特征图和第一掩膜图像，根据与第一掩膜特征图对应的第一类别信息和第一掩膜图像所对应物体的第一类别，确定所述一致性损失包括的类别一致性损失。7.根据权利要求6所述的方法，其中，所述根据所述多个第一类别信息和所述至少一个第一类别，确定所述语义分割模型的一致性损失还包括：根据所述多个第一类别信息，对所述多个第一掩膜特征图进行合并，得到合并后掩膜特征图；以及根据所述合并后掩膜特征图与所述至少一个第一掩膜图像之间的差异，确定所述一致性损失包括的掩膜一致性损失。8.根据权利要求1所述的方法，其中：所述根据所述第一图像，采用所述语义分割模型的教师模型得到针对所述第一图像的多个第二掩膜特征图和与所述多个第二掩膜特征图对应的多个第二类别信息包括：对所述第一图像进行第一增强处理，得到第一增强后图像；以及将所述第一增强后图像输入所述教师模型，得到所述多个第二掩膜特征图和所述多个第二类别信息；所述根据无标签的第一图像，采用所述语义分割模型得到针对所述第一图像的多个第一掩膜特征图和与所述多个第一掩膜特征图对应的多个第一类别信息包括：对所述第一增强后图像进行第二增强处理，得到第二增强后图像；以及将所述第二增强后图像输入所述语义分割模型，得到所述多个第一掩膜特征图和所述多个第一类别信息。9.根据权利要求1所述的方法，还包括：将具有标签的第二图像输入所述语义分割模型，得到针对所述第二图像的多个第三掩膜特征图和与所述多个第三掩膜特征图对应的多个第三类别信息；所述标签指示与所述第二图像包括的至少一类物体对应的至少一个第二掩膜图像和与所述至少一类物体对应的至少一个第二类别；以及
根据所述多个第三掩膜特征图、所述多个第三类别信息、所述至少一个第二掩膜图像和所述至少一个第二类别，对所述语义分割模型进行训练。10.一种语义分割方法，包括：将待处理图像输入语义分割模型，得到针对所述待处理图像的多个第四掩膜特征图和与所述多个第四掩膜特征图对应的多个预测类别信息；以及根据所述多个预测类别信息和所述多个第四掩膜特征图，确定所述待处理图像包括的至少一类物体的类别和所述至少一类物体的位置信息，其中，所述语义分割模型是采用权利要求1～9中任一项所述的方法训练的。11.一种语义分割模型的训练装置，包括：第一图像分割模块，用于根据无标签的第一图像，采用所述语义分割模型得到针对所述第一图像的多个第一掩膜特征图和与所述多个第一掩膜特征图对应的多个第一类别信息；第二图像分割模块，用于根据所述第一图像，采用所述语义分割模型的教...

【专利技术属性】
技术研发人员：伍天意，张健荣，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：