本申请提供一种实例分割方法、装置、电子设备及存储介质，该方法包括：获取待分割图像的类别响应图、实例中心偏移场和实例边界响应图；根据待分割图像中目标的姿态，建立目标的先验模板；基于类别响应图、实例中心偏移场、实例边界响应图及先验模板，通过模板匹配，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图；在基于模板边界图的限制下，基于模板类别响应图进行区域扩展，得到实例分割结果。该方案可以减少欠分割和过分割。欠分割和过分割。欠分割和过分割。
【技术实现步骤摘要】
一种实例分割方法、装置、电子设备及存储介质
[0001]本专利技术属于图像分割
，特别涉及一种实例分割方法、装置、电子设备及存储介质。
技术介绍
[0002]现有的图像分割领域的实例分割技术主要可以分为两类，一类是全监督实例分割，另一类是弱监督实例分割。第一类全监督实例分割方法，基于深度学习方法的实例分割技术能够自动预测图像中每个像素的类别及其所属的实例。但是该方法的主要缺点是在神经网络进行训练过程的过程中，需要使用精确的图像像素级类别与实例标注，而这种像素级别的标注需要耗费大量人力和时间投入，时间与经济成本极高，限制了可用数据的规模，阻碍了全监督实例分割方法的进一步发展。
[0003]为了降低数据标注的复杂度，近年来出现了弱监督实例分割方法。弱监督实例分割方法对图像标注的要求大大降低，其中尤以基于图像类别标注的实例分割方法所需的图像数据标注成本最低。基于图像类别标注的实例分割方法仅需要图像类别信息，即可进一步通过神经网络等技术得到关于目标实例的详细分割结果。以目前标注成本最低的图像类别标注为例，现有基于图像类别标注的弱监督实例分割方法，主要基于感知的图像信息进行像素级的实例分割，容易产生明显不符合人类先验认知的分割结果。
技术实现思路
[0004]本说明书实施例的目的是提供一种实例分割方法、装置、电子设备及存储介质。
[0005]为解决上述技术问题，本申请实施例通过以下方式实现的：
[0006]第一方面，本申请提供一种实例分割方法，该方法包括：
[0007]获取待分割图像的类别响应图、实例中心偏移场和实例边界响应图；
[0008]根据待分割图像中目标的姿态，建立目标的先验模板；
[0009]基于类别响应图、实例中心偏移场、实例边界响应图及先验模板，通过模板匹配，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图；
[0010]在基于模板边界图的限制下，基于模板类别响应图进行区域扩展，得到实例分割结果。
[0011]在其中一个实施例中，基于类别响应图、实例中心偏移场、实例边界响应图及先验模板，通过模板匹配，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图，包括：
[0012]根据实例中心偏移场，确定实例中心位置；
[0013]根据实例中心位置，确定目标候选位置；
[0014]将先验模板按照预设比例进行缩放，得到若干缩放模板，将缩放模板放置在目标候选位置，计算所有缩放模板的模板匹配分数，选取模板匹配分数大于分数阈值且目标匹
配分数最大所对应的缩放模板，作为匹配模板；
[0015]根据匹配模板，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图。
[0016]在其中一个实施例中，根据实例中心偏移场，确定实例中心位置，包括：
[0017]根据实例中心偏移场，预估得到实例中心位置区域；
[0018]将指向实例中心位置区域的像素集合，确定为实例区域；
[0019]将实例区域的中心确定为实例中心位置。
[0020]在其中一个实施例中，根据实例中心位置，确定目标候选位置，包括：
[0021]选取实例区域的面积大于或等于面积阈值所对应的实例中心位置为目标候选位置；
[0022]和/或，
[0023]根据实例区域和类别响应图，选取实例区域中属于指定类别的概率大于预设概率的像素个数大于或等于实例区域的总面积的预设百分比，所对应的实例中心位置为目标候选位置。
[0024]在其中一个实施例中，模板匹配分数包括边缘方向匹配分数、偏移幅度匹配分数、模板区域匹配分数、模板边界匹配分数中至少一者；
[0025]边缘方向匹配分数根据缩放模板中的边缘轮廓像素集合、缩放模板中边缘各像素相对于缩放模板中心的偏移场方向及实例中心偏移场方向确定；
[0026]偏移幅度匹配分数根据缩放模板中的边缘轮廓像素集合及实例中心偏移场向量归一化长度确定；
[0027]模板区域匹配分数根据缩放模板所覆盖模板前景区域的像素集合和实例中心偏移场的向量长度决定的前景区域的像素集合确定；
[0028]模板边界匹配分数根据缩放模板中的边缘轮廓像素集合和缩放模板与实例边界响应图的倒角距离确定。
[0029]在其中一个实施例中，根据匹配模板，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图，包括：
[0030]若匹配模板与实例边界响应图的倒角距离大于倒角距离阈值，则保留匹配模板的边界，以改善实例边界响应图，得到基于模板边界图；
[0031]确定匹配模板覆盖类别响应图的覆盖区域，将覆盖区域内类别响应图的响应分值按预设比例进行放大，以改善类别响应图，得到基于模板类别响应图。
[0032]在其中一个实施例中，在基于模板边界图的限制下，基于模板类别响应图进行区域扩展，得到实例分割结果，包括：
[0033]根据实例边界响应图，确定相似度矩阵；
[0034]将相似度矩阵进行若干次哈达玛积及矩阵的行归一化处理，得到转移矩阵；
[0035]根据基于模板边界图的边界概率，调整基于模板类别响应图的响应分值，得到调整后类别响应图；
[0036]将转移矩阵与调整后类别响应图进行若干次相乘，得到实例分割结果。
[0037]第二方面，本申请提供一种实例分割装置，该装置包括：
[0038]获取模块，用于获取待分割图像的类别响应图、实例中心偏移场和实例边界响应
图；
[0039]模板建立模块，用于根据待分割图像中目标的姿态，建立目标的先验模板；
[0040]匹配模块，用于基于类别响应图、实例中心偏移场、实例边界响应图及先验模板，通过模板匹配，分别改善类别响应图和实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图；
[0041]扩展模块，用于在基于模板边界图的限制下，基于模板类别响应图进行区域扩展，得到实例分割结果。
[0042]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的实例分割方法。
[0043]第四方面，本申请提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的实例分割方法。
[0044]由以上本说明书实施例提供的技术方案可见，该方案：通过模板匹配，改善类别响应图，减少欠分割现象的发生；通过模板匹配，改善实例边界响应图，减少过分割现象的发生。
附图说明
[0045]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实例分割方法，其特征在于，所述方法包括：获取待分割图像的类别响应图、实例中心偏移场和实例边界响应图；根据所述待分割图像中目标的姿态，建立所述目标的先验模板；基于所述类别响应图、所述实例中心偏移场、所述实例边界响应图及所述先验模板，通过模板匹配，分别改善所述类别响应图和所述实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图；在所述基于模板边界图的限制下，所述基于模板类别响应图进行区域扩展，得到实例分割结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述类别响应图、所述实例中心偏移场、所述实例边界响应图及所述先验模板，通过模板匹配，分别改善所述类别响应图和所述实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图，包括：根据所述实例中心偏移场，确定实例中心位置；根据所述实例中心位置，确定目标候选位置；将所述先验模板按照预设比例进行缩放，得到若干缩放模板，将所述缩放模板放置在所述目标候选位置，计算所有所述缩放模板的模板匹配分数，选取所述模板匹配分数大于分数阈值且所述目标匹配分数最大所对应的缩放模板，作为匹配模板；根据所述匹配模板，分别改善所述类别响应图和所述实例边界响应图，得到对应的基于模板类别响应图和基于模板边界图。3.根据权利要求2所述的方法，其特征在于，所述根据所述实例中心偏移场，确定实例中心位置，包括：根据所述实例中心偏移场，预估得到实例中心位置区域；将指向所述实例中心位置区域的像素集合，确定为实例区域；将所述实例区域的中心确定为所述实例中心位置。4.根据权利要求3所述的方法，其特征在于，所述根据所述实例中心位置，确定目标候选位置，包括：选取所述实例区域的面积大于或等于面积阈值所对应的所述实例中心位置为所述目标候选位置；和/或，根据所述实例区域和所述类别响应图，选取所述实例区域中属于指定类别的概率大于预设概率的像素个数大于或等于所述实例区域的总面积的预设百分比，所对应的所述实例中心位置为所述目标候选位置。5.根据权利要求2所述的方法，其特征在于，所述模板匹配分数包括边缘方向匹配分数、偏移幅度匹配分数、模板区域匹配分数、模板边界匹配分数中至少一者；所述边缘方向匹配分数根据所述缩放模板中的边缘轮廓像素集合、所述缩放模板中边缘各像素相对于所述缩放模板中心的偏移场方向及所述实例中心偏移场方向确定；所述偏移幅度匹配分数根据所述缩放模板中的边缘轮廓...
【专利技术属性】
技术研发人员：侯亚丽，杨玉源，侯志江，郝晓莉，申艳，陈后金，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。