显著性物体检测模型的训练方法、装置以及设备制造方法及图纸

本公开提供了一种显著性物体检测模型的训练方法、装置以及设备，涉及人工智能技术领域，具体涉及图像处理、计算机视觉和深度学习等技术领域，尤其涉及智慧城市、智能交通等场景。该方法的一具体实施方式包括：获取样本图像集中的样本图像的至少两个层次的特征张量；基于样本图像的至少两个层次的特征张量，生成样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合；基于样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息；基于视觉对比度融合信息和样本图像的视觉对比度信息进行训练，得到显著性物体检测模型。该实施方式能够解决显著性物体检测模型学习中的视觉对比度偏差问题。度偏差问题。度偏差问题。

【技术实现步骤摘要】
显著性物体检测模型的训练方法、装置以及设备


[0001]本公开涉及人工智能
，具体涉及图像处理、计算机视觉和深度学习等
，尤其涉及智慧城市、智能交通等场景。

技术介绍

[0002]在交通场景中，显著性物体检测能够检测交通场景内的显著区域和显著区域内的重要目标物体，同时忽略大部分无关的场景信息。
[0003]现有的无监督显著性物体检测方法通常采用自监督形式的迭代学习方式，也即模型自己生成伪标签监督自己训练。对于基于深度学习的方法，现有方法通常使用传统机器学习方法作为起始伪标签生成器来训练深度神经网络。为了获得更好的显著性物体检测性能，通常需要输入多个传统机器学习算法生成的伪标签，并对这些伪标签监督生成的模型进行集成学习，从而稳定模型训练和获得较好的效果。

技术实现思路

[0004]本公开实施例提出了一种显著性物体检测模型的训练方法、装置、设备、存储介质以及程序产品。
[0005]第一方面，本公开实施例提出了一种显著性物体检测模型的训练方法，包括：获取样本图像集中的样本图像的至少两个层次的特征张量；基于样本图像的至少两个层次的特征张量，生成样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合；基于样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息；基于视觉对比度融合信息和样本图像的视觉对比度信息进行训练，得到显著性物体检测模型。
[0006]第二方面，本公开实施例提出了一种显著性物体检测方法，包括：获取待检测图像；将待检测图像输入至显著性物体检测模型，得到待检测图像的显著性物体检测结果，其中，显著性物体检测模型是采用采用第一方面所述的方法训练得到的。
[0007]第三方面，本公开实施例提出了一种显著性物体检测模型的训练装置，包括：获取模块，被配置成获取样本图像集中的样本图像的至少两个层次的特征张量；第一生成模块，被配置成基于样本图像的至少两个层次的特征张量，生成样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合；第二生成模块，被配置成基于样本图像的视觉对比度信息和样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息；训练模块，被配置成基于视觉对比度融合信息和样本图像的视觉对比度信息进行训练，得到显著性物体检测模型。
[0008]第四方面，本公开实施例提出了一种显著性物体检测装置，包括：获取模块，被配置成获取待检测图像；检测模块，被配置成将待检测图像输入至显著性物体检测模型，得到待检测图像的显著性物体检测结果，其中，显著性物体检测模型是采用采用第三方面所述的装置训练得到的。
[0009]第五方面，本公开实施例提出了一种电子设备，包括：至少两个处理器；以及与至少两个处理器通信连接的存储器；其中，存储器存储有可被至少两个处理器执行的指令，指令被至少两个处理器执行，以使至少两个处理器能够执行如第一方面中任一实现方式描述的方法或第二方面中任一实现方式描述的方法。
[0010]第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法或第二方面中任一实现方式描述的方法。
[0011]第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法或第二方面中任一实现方式描述的方法。
[0012]本公开实施例提供的显著性物体检测模型的训练方法，提供了一种基于因果关系的无监督显著性检测方法，用于解决显著性物体检测模型学习中的视觉对比度偏差问题。通过设计去混杂训练方法来消除对比度分布偏差，进而生成平衡无偏的物体检测结果。并且，与常用的多阶段训练方法不同，本公开提供的是一个单阶段训练方法，模型训练框架简单有效，能够实现端到端学习，同时提升模型效果，不需要集成多种传统机器学习方法。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开的显著性物体检测模型的训练方法的一个实施例的流程图；
[0016]图2是根据本公开的显著性物体检测模型的训练方法的又一个实施例的流程图；
[0017]图3是图2中的显著性物体检测模型的训练方法的视觉对比度信息建模框图；
[0018]图4是图2中的显著性物体检测模型的训练方法的视觉对比度信息混杂集合建模框图；
[0019]图5是根据本公开的显著性物体检测模型的训练方法的另一个实施例的流程图；
[0020]图6是图5中的显著性物体检测模型的训练方法的视觉对比度信息建模框图；
[0021]图7是图5中的显著性物体检测模型的训练方法的视觉对比度信息混杂集合建模框图；
[0022]图8是根据本公开的显著性物体检测方法的一个实施例的流程图；
[0023]图9是根据本公开的显著性物体检测模型的训练装置的一个实施例的结构示意图；
[0024]图10是根据本公开的显著性物体检测装置的一个实施例的结构示意图；
[0025]图11是用来实现本公开实施例的显著性物体检测模型的训练方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0028]图1示出了根据本公开的显著性物体检测模型的训练方法的一个实施例的流程100。该显著性物体检测模型的训练方法包括以下步骤：
[0029]步骤101，获取样本图像集中的样本图像的至少两个层次的特征张量。
[0030]在本实施例中，显著性物体检测模型的训练方法的执行主体可以获取样本图像集中的样本图像的至少两个层次的特征张量。其中，样本图像集中可以包括大量样本图像。对于每个样本图像，可以获取该样本图像的至少两个层次的特征张量。不同层次的特征张量可以用于表征该样本图像所具有的不同类别的特征。
[0031]在一些实施例中，上述执行主体可以将样本图像输入至骨干网络(backbone)，提取样本图像的至少两个层次的特征张量。其中，骨干网络可以包含多个特征层，不同层次的特征张量可以是从骨干网络的不同特征层提取的。越低的特征层提取到的特征张量包含越多的细节信息；越本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显著性物体检测模型的训练方法，包括：获取样本图像集中的样本图像的至少两个层次的特征张量；基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合；基于所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息；基于所述视觉对比度融合信息和所述样本图像的视觉对比度信息进行训练，得到显著性物体检测模型。2.根据权利要求1所述的方法，其中，所述基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，包括：将所述样本图像的至少两个层次的特征张量输入至对比度预训练网络，得到所述样本图像的视觉对比度信息；对所述样本图像的视觉对比度信息进行聚类，以及将聚类中心的视觉对比度信息组合成向量字典，作为所述样本图像集的视觉对比度信息混杂集合。3.根据权利要求2所述的方法，其中，所述将所述样本图像的至少两个层次的特征张量输入至对比度预训练网络，得到所述样本图像的视觉对比度信息，包括：基于所述样本图像的至少两个层次的特征张量，计算所述样本图像的至少两个层次的特征对比度，其中，一个特征张量对应一个特征对比度；合并所述样本图像的至少两个层次的特征对比度，得到所述样本图像的视觉对比度信息。4.根据权利要求1所述的方法，其中，所述基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，包括：基于所述样本图像的至少两个层次的特征张量，计算所述样本图像的至少两个层次的特征对比度，其中，一个特征张量对应一个特征对比度；将所述样本图像的至少两个层次的特征对比度对比融合，得到所述样本图像的视觉对比度信息；分别对所述样本图像的至少两个层次的特征张量进行全局平均，得到所述样本图像集的至少两个层次的特征张量；分别对所述样本图像集的至少两个层次的特征张量进行聚类，以及将聚类中心的特征张量组合成至少两个层次的向量字典；将所述至少两个层次的向量字典交叉拼接，生成所述样本图像集的视觉对比度信息混杂集合。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述基于所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息，包括：将所述样本图像的视觉对比度信息与所述样本图像集的视觉对比度信息混杂集合进行自注意力机制融合，生成所述视觉对比度融合信息。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述基于所述视觉对比度融合信息和
所述样本图像的视觉对比度信息进行训练，得到显著性物体检测模型，包括：将所述视觉对比度融合信息与所述样本图像的视觉对比度信息进行拼接，得到拼接对比度信息；将所述拼接对比度信息输入至融合卷积层进行显著性物体检测，得到所述样本图像的显著性物体预测图像；基于所述样本图像的显著性物体标注图像与显著性物体预测图像的差异，调整融合卷积层的参数，得到所述显著性物体检测模型。7.根据权利要求6所述的方法，其中，所述基于所述样本图像的显著性物体标注图像与显著性物体预测图像的差异，调整融合卷积层的参数，得到所述显著性物体检测模型，包括：基于所述样本图像的显著性物体预测图像，计算所述样本图像集的显著性物体预测均值图像；基于所述样本图像的显著性物体预测图像与对应权重的乘积，以及所述样本图像集的显著性物体预测均值图像，计算损失函数；基于所述损失函数，调整所述融合卷积层的参数，得到所述显著性物体检测模型。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述获取样本图像集中的样本图像的至少两个层次的特征张量，包括：将所述样本图像输入至骨干网络，提取所述样本图像的至少两个层次的特征张量。9.一种显著性物体检测方法，包括：获取待检测图像；将所述待检测图像输入至显著性物体检测模型，得到所述待检测图像的显著性物体检测结果，其中，所述显著性物体检测模型是采用权利要求1
‑
8中任一项所述的方法训练得到的。10.一种显著性物体检测模型的训练装置，包括：获取模块，被配置成获取样本图像集中的样本图像的至少两个层次的特征张量；第一生成模块，被配置成基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信...

【专利技术属性】
技术研发人员：林相如，张伟，谭啸，韩钧宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：