图像识别方法、装置、设备、存储介质以及程序产品制造方法及图纸

本公开提供了一种图像识别方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，具体涉及计算机视觉和深度学习技术。实例分割模型训练方法的一具体实施方式包括：获取第一训练样本，其中，第一训练样本是对第一目标和第二目标进行标注的第一样本图像，在第一样本图像中；从第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练样本；利用第二训练样本对深度学习模型进行训练，得到第二实例分割模型。该实施方式训练出第一实例分割模型和第二实例分割模型进行实例分割，提高了对小目标的实例分割的精准度。对小目标的实例分割的精准度。对小目标的实例分割的精准度。

【技术实现步骤摘要】
图像识别方法、装置、设备、存储介质以及程序产品


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术。

技术介绍

[0002]信息化时代，人类每时每刻都在通过各种手段和途径获得海量的图像。许多计算机视觉任务都需要对图像进行智能分割，以充分理解图像中的内容，使各个图像部分之间的分析更加容易，这使得基于真实场景的实例分割在现实生活中有很大的应用价值。目标检测和实例分割是两个不同的计算机视觉任务，目标检测需要将目标从图像中识别出来并进行定位，而实例分割需要在此基础上把目标所在的像素标注出来。
[0003]目前，常用的图像识别方法是Mask R
‑
CNN(Region
‑
based Convolutional Neural Network，区域卷积神经网络)。Mask R
‑
CNN在Faster R
‑
CNN的基础上增加了一个预测Mask(掩膜)的分支。利用卷积与反卷积构建端到端的网络进行语义分割，并且将ROI
‑
Pooling(Region Of Interest Pooling，感兴趣区域池化)层替换成了ROI
‑
Align(Region Of Interest Align，感兴趣区域对齐)。然而，Mask R
‑
CNN针对小目标很难做到精准的实例分割。

技术实现思路

[0004]本公开实施例提出了一种图像识别方法、装置、设备、存储介质以及程序产品。
>[0005]第一方面，本公开实施例提出了一种实例分割模型训练方法，包括：获取第一训练样本，其中，第一训练样本是对第一目标和第二目标进行标注的第一样本图像，在第一样本图像中，第一目标的数量和尺寸小于第二目标；从第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练样本；利用第二训练样本对深度学习模型进行训练，得到第二实例分割模型。
[0006]第二方面，本公开实施例提出了一种图像识别方法，包括：将待分割图像输入至第一实例分割模型，得到单独的第一目标的边界框和第二目标的边界框；基于第二目标的边界框从待分割图像中分割出第二目标的图像；将第二目标的图像输入至第二实例分割模型，得到关联第二目标的第一目标的边界框，其中，第一实例分割模型和第二实例分割模型是如第一方面描述的方法训练得到的；基于单独的第一目标的边界框、关联第二目标的第一目标的边界框和第二目标的边界框对待分割图像进行实例分割，得到实例分割结果。
[0007]第三方面，本公开实施例提出了一种实例分割模型训练装置，包括：获取模块，被配置成获取第一训练样本，其中，第一训练样本是对第一目标和第二目标进行标注的第一样本图像，在第一样本图像中，第一目标的数量和尺寸小于第二目标；生成模块，被配置成从第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练样本；第一训练模块，被配置成利用第二训练样本对深度学习模型进行训练，得到第二实例分割模型。
[0008]第四方面，本公开实施例提出了一种图像识别装置，包括：第一检测模块，被配置
成将待分割图像输入至第一实例分割模型，得到单独的第一目标的边界框和第二目标的边界框；第一分割模块，被配置成基于第二目标的边界框从待分割图像中分割出第二目标的图像；第二检测模块，被配置成将第二目标的图像输入至第二实例分割模型，得到关联第二目标的第一目标的边界框，其中，第一实例分割模型和第二实例分割模型是采用如第三方面描述的装置训练得到的；第二分割模块，被配置成基于单独的第一目标的边界框、关联第二目标的第一目标的边界框和第二目标的边界框对待分割图像进行实例分割，得到实例分割结果。
[0009]第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面和第二方面中任一实现方式描述的方法。
[0010]第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面和第二方面中任一实现方式描述的方法。
[0011]第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面和第二方面中任一实现方式描述的方法。
[0012]本公开实施例提供的实例分割模型训练方法，首先获取第一训练样本；然后从第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练样本；最后利用第二训练样本对深度学习模型进行训练，得到第二实例分割模型。训练出第二实例分割模型进行实例分割，提高了对小目标的实例分割的精准度。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开的实例分割模型训练方法的一个实施例的流程图；
[0016]图2是根据本公开的实例分割模型训练方法的又一个实施例的流程图；
[0017]图3是根据本公开的实例分割模型训练方法的另一个实施例的流程图；
[0018]图4是根据本公开的图像识别方法的一个实施例的流程图；
[0019]图5是根据本公开的图像识别方法的又一个实施例的流程图；
[0020]图6是本公开实施例的整体系统流程图；
[0021]图7是根据本公开的实例分割模型训练装置的一个实施例的结构示意图；
[0022]图8是根据本公开的图像识别装置的一个实施例的结构示意图；
[0023]图9是用来实现本公开实施例的实例分割模型训练方法或图像超分辨方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0026]图1示出了根据本公开的实例分割模型训练方法的一个实施例的流程100。该实例分割模型训练方法包括以下步骤：
[0027]步骤101，获取第一训练样本。
[0028]在本实施例中，实例分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例分割模型训练方法，包括：获取第一训练样本，其中，所述第一训练样本是对第一目标和第二目标进行标注的第一样本图像，在所述第一样本图像中，第一目标的数量和尺寸小于第二目标；从所述第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练样本；利用所述第二训练样本对深度学习模型进行训练，得到第二实例分割模型。2.根据权利要求1所述的方法，其中，所述方法还包括：利用所述第一训练样本对深度学习模型进行训练，得到第一实例分割模型。3.根据权利要求2所述的方法，其中，所述第一实例分割模型和所述第二实例分割模型以Swin Transformer为骨干网络，采用掩膜区域卷积神经网络Mask R
‑
CNN算法对图像中的目标进行实例分割。4.根据权利要求1所述的方法，其中，在所述获取第一训练样本之前，还包括：在所述第一样本图像中增加第一目标；和/或在所述第一样本图像中增加关联第一目标的第二目标。5.根据权利要求4所述的方法，其中，增加的第一目标和/或第二目标不覆盖所述第一样本图像中的第一目标或第二目标。6.根据权利要求4或5所述的方法，其中，所述在所述第一样本图像中增加第一目标，包括：将第二样本图像中的第一目标的像素点复制到所述第一样本图像上。7.根据权利要求4或5所述的方法，其中，所述在所述第一样本图像中增加关联第一目标的第二目标，包括：若第二样本图像中的第一目标与第二目标存在交集，将存在交集的第一目标与第二目标同时复制到所述第一样本图像上。8.一种图像识别方法，包括：将待分割图像输入至第一实例分割模型，得到单独的第一目标的边界框和第二目标的边界框；基于所述第二目标的边界框从所述待分割图像中分割出第二目标的图像；将所述第二目标的图像输入至第二实例分割模型，得到关联第二目标的第一目标的边界框，其中，所述第一实例分割模型和所述第二实例分割模型是采用权利要求2
‑
7中任一项所述的方法训练得到的；基于所述单独的第一目标的边界框、所述关联第二目标的第一目标的边界框和所述第二目标的边界框对所述待分割图像进行实例分割，得到实例分割结果。9.根据权利要求8所述的方法，其中，所述基于所述单独的第一目标的边界框、所述关联第二目标的第一目标的边界框和所述第二目标的边界框对所述待分割图像进行实例分割，得到实例分割结果，包括：根据所述第二目标的边界框的坐标，将所述关联第二目标的第一目标的边界框的坐标回归到所述待分割图像中；基于所述单独的第一目标的边界框的坐标、所述关联第二目标的第一目标的边界框的坐标和所述第二目标的边界框的坐标对所述待分割图像进行实例分割，得到所述实例分割
结果。10.一种实例分割模型训练装置，包括：获取模块，被配置成获取第一训练样本，其中，所述第一训练样本是对第一目标和第二目标进行标注的第一样本图像，在所述第一样本图像中，第一目标的数量和尺寸小于第二目标；生成模块，被配置成从所述第一训练样本中分割出关联第一目标的第二目标的图像和单独的第一目标的图像，并对第一目标进行标注生成第二训练...

【专利技术属性】
技术研发人员：薛松，冯原，辛颖，张滨，李超，王云浩，彭岩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：