目标检测方法及其模型的训练方法和相关装置及介质制造方法及图纸

本申请公开了一种目标检测方法及其模型的训练方法和相关装置及介质。该目标检测模型的训练方法包括：利用目标检测模型分别对第一样本图像和第二样本图像中的目标进行检测，得到第一样本图像的第一检测结果和第二样本图像的第二检测结果；基于第一检测结果确定第一样本图像中的至少一个第一检测框，基于第二检测结果确定第二样本图像中的至少一个第二检测框，其中，第一检测框和第二检测框用于表示目标的位置；基于表示相同的目标的第一检测框和第二检测框之间的差异信息，得到目标检测模型的第一损失；利用第一损失，调整目标检测模型的网络参数。上述方案，能够减少目标检测模型的训练成本。

【技术实现步骤摘要】
目标检测方法及其模型的训练方法和相关装置及介质
本申请涉及图像处理
，特别是涉及一种目标检测方法及其模型的训练方法和相关装置及介质。
技术介绍
一般地，对于网络模型进行训练的方法主要包括以下几个步骤，首先，将样本图像输入网络模型，获取网络模型的输出结果，然后获取输出结果与样本图像中的标注信息之间的误差，然后根据该误差调整网络模型中的参数。这种方式存在的问题是对网络模型的训练需要建立在大量的已标注样本图像。一般都是采用人工对样本图像进行标注，获取大量的已标注样本图像的过程耗时耗力。
技术实现思路
本申请至少提供一种目标检测方法及其模型的训练方法和相关装置及介质。本申请提供了一种目标检测模型的训练方法，包括：利用目标检测模型分别对第一样本图像和第二样本图像中的目标进行检测，得到第一样本图像的第一检测结果和第二样本图像的第二检测结果；基于第一检测结果确定第一样本图像中的至少一个第一检测框，基于第二检测结果确定第二样本图像中的至少一个第二检测框，其中，第一检测框和第二检测框用于表示目标的位置；基于表示相同的目标的第一检测框和第二检测框之间的差异信息，得到目标检测模型的第一损失；利用第一损失，调整目标检测模型的网络参数。因此，通过获取第一样本图像和第二样本图像对应的包含相同的目标的检测框之间的差异信息，从而得到目标检测模型的第一损失，然后利用第一损失就能够调整目标检测模型的网络参数，无需大量的已标注样本图像，从而减少目标检测模型的训练成本。进一步地，第一检测结果和第二检测结果中可能存在大量无效的信息，本公开实施例是基于第一检测框和第二检测框之间的差异信息获取第一损失，而不是基于第一检测结果和第二检测结果之间的差异信息获取第一损失，能够提高第一损失的准确度。其中，在基于表示相同的目标的第一检测框和第二检测框之间的差异信息，得到目标检测模型的第一损失之前，方法还包括：将至少一个第一检测框和至少一个第二检测框进行匹配，得到若干个匹配框对，其中，每个匹配框对包括第一检测框和与第一检测框匹配的第二检测框，且不同的匹配框对包括的检测框不同；以及，基于表示相同的目标的第一检测框和第二检测框之间的差异信息，得到目标检测模型的第一损失，包括：利用每个匹配框对中第一检测框和第二检测框之间的差异信息，得到第一损失。因此，通过将至少一个第一检测框和至少一个第二检测框进行匹配得到匹配框对，从而能够确定表示相同目标的第一检测框和第二检测框，从而利用二者之间的差异信息得到第一损失，使得获取得到的第一损失的准确度更高。其中，匹配的方式为二部图匹配方式；和/或，将至少一个第一检测框和至少一个第二检测框进行匹配，得到若干个匹配框对，包括：分别将各第一检测框与各第二检测框组成多个候选框对；基于各候选框对的匹配程度，选择部分的候选框对作为匹配框对；和/或，利用每个匹配框对中第一检测框和第二检测框之间的差异信息，得到第一损失，包括：在匹配框对为多个的情况下，将每个匹配框对的差异信息进行累加，以得到第一损失。因此，可以选择使用多种匹配方式，使得匹配结果中任意检测框最多只有一个检测框与之匹配，从而提高获取表示相同目标的第一检测框和第二检测框的准确度。其中，第一检测框和第二检测框均对应有关于目标的第一位置信息和/或第一类别信息；差异信息包括以下至少一者：第一检测框和第二检测框之间关于第一位置信息的第一差异和关于第一类别信息的第二差异。因此，通过获取第一检测框和第二检测框关于位置和类别的差异，作为第一检测框和第二检测框之间的差异，使得获取到的差异更准确。其中，基于表示相同的目标的第一检测框和第二检测框之间的差异信息，得到目标检测模型的第一损失，包括：利用第一差异得到位置损失，并利用第二差异得到类别损失；基于位置损失和类别损失，得到第一损失，其中，位置损失包括距离损失和/或检测框交并比损失。因此，将位置损失还分为举例损失和检测框交并比损失，使得获取到的位置损失更准确。其中，第一样本图像和第二样本图像来自于样本集，样本集中的样本图像包括已标注样本图像和/或未标样本图像，已标注样本图像标注有目标的真实框信息，其中，真实框信息包括关于目标的第二位置信息和第二类别信息；以及，在第一样本图像和第二样本图像为已标注样本图像的情况下，利用第一损失，调整目标检测模型的网络参数，包括：将第一检测框和第二检测框中的至少一者作为目标检测框，利用目标检测框与对应的真实框信息之间的差异，得到第二损失；利用第一损失和第二损失，调整目标检测模型的网络参数。因此，通过在第一样本图像和第二样本图像为已标注样本图像的情况下，还获取目标检测框和真实框之间的差异，从而确定第二损失，进而根据第二损失和第一损失调整目标检测模型的网络参数，使得对目标检测模型的调整效果更好。其中，利用第一损失和第二损失，调整目标检测模型的网络参数，包括：利用加权后的第一损失与第二损失得到目标检测模型的总损失，其中，目标检测模型的训练次数越多，第一损失的权重越大；基于总损失，调整目标检测模型的网络参数。因此，通过根据目标检测模型的训练次数与第一损失的权重，使得目标检测模型的训练初期以全监督训练为主，然后逐渐增大第一损失的权重，以保证训练过程的稳定。其中，基于第一检测结果确定第一样本图像中的至少一个第一检测框，基于第二检测结果确定第二样本图像中的至少一个第二检测框，包括：对第一检测结果进行解码，得到若干第一候选检测框，对第二检测结果进行解码，得到若干第二候选检测框；其中，第一候选检测框和第二候选检测框均对应有关于目标的第三位置信息和/或第三类别信息；利用第一候选检测框和第二候选检测框的第三位置信息和/或第三类别信息，对第一候选检测框和第二候选检测框进行筛选，得到第一检测框和第二检测框。因此，通过对第一检测结果和第二检测结果进行解码得到第一候选检测框和第二候选检测框，可能出现候选检测框中类别概率较低，且有可能存在多个候选检测框表示同一目标的情况，通过对第一候选检测框和第二候选检测框进行筛选，能够减少检测框相互重叠的情况，以及类别概率较低的检测框参与后续的损失计算，从而提高获取得到的第一损失的准确度。其中，利用第一候选检测框和第二候选检测框的第三位置信息和/或第三类别信息，对第一候选检测框和第二候选检测框进行筛选，得到第一检测框和第二检测框，包括：利用第三类别信息，从若干第一候选检测框中选择类别概率满足第一要求的预设数量个第一候选检测框，以及从若干第二候选检测框中选择类别概率满足第一要求的预设数量个第二候选检测框；基于第三位置信息，利用非极大值抑制方式从预设数量个第一候选检测框和第二候选检测框进行筛选，得到第一检测框和第二检测框。因此，通过先利用类别概率对候选检测框进行一次筛选之后，再使用位置信息进行二次筛选，能够减少检测框相互重叠的情况，以及减少类别概率较低的检测框参与后续的损失计算，从而提高获取得到的第一损失的准确度。其中，第一检测结果包括与第一样本图像对应的第一分类图和第一定位图，第二检测结果包括与本文档来自技高网...

【技术保护点】
1.一种目标检测模型的训练方法，其特征在于，包括：/n利用所述目标检测模型分别对第一样本图像和第二样本图像中的目标进行检测，得到所述第一样本图像的第一检测结果和所述第二样本图像的第二检测结果；/n基于所述第一检测结果确定所述第一样本图像中的至少一个第一检测框，基于所述第二检测结果确定所述第二样本图像中的至少一个第二检测框，其中，所述第一检测框和所述第二检测框用于表示所述目标的位置；/n基于表示相同的目标的所述第一检测框和所述第二检测框之间的差异信息，得到所述目标检测模型的第一损失；/n利用所述第一损失，调整所述目标检测模型的网络参数。/n

【技术特征摘要】
1.一种目标检测模型的训练方法，其特征在于，包括：
利用所述目标检测模型分别对第一样本图像和第二样本图像中的目标进行检测，得到所述第一样本图像的第一检测结果和所述第二样本图像的第二检测结果；
基于所述第一检测结果确定所述第一样本图像中的至少一个第一检测框，基于所述第二检测结果确定所述第二样本图像中的至少一个第二检测框，其中，所述第一检测框和所述第二检测框用于表示所述目标的位置；
基于表示相同的目标的所述第一检测框和所述第二检测框之间的差异信息，得到所述目标检测模型的第一损失；
利用所述第一损失，调整所述目标检测模型的网络参数。


2.根据权利要求1所述的方法，其特征在于，在所述基于表示相同的目标的所述第一检测框和所述第二检测框之间的差异信息，得到所述目标检测模型的第一损失之前，所述方法还包括：
将所述至少一个第一检测框和所述至少一个第二检测框进行匹配，得到若干个匹配框对，其中，每个匹配框对包括第一检测框和与所述第一检测框匹配的第二检测框，且不同的匹配框对包括的检测框不同；以及，
所述基于表示相同的目标的所述第一检测框和所述第二检测框之间的差异信息，得到所述目标检测模型的第一损失，包括：
利用所述每个匹配框对中第一检测框和第二检测框之间的差异信息，得到所述第一损失。


3.根据权利要求2所述的方法，其特征在于，所述匹配的方式为二部图匹配方式；和/或，
所述将所述至少一个第一检测框和所述至少一个第二检测框进行匹配，得到若干个匹配框对，包括：
分别将各第一检测框与各第二检测框组成多个候选框对；
基于各候选框对的匹配程度，选择部分的所述候选框对作为所述匹配框对；和/或，
所述利用所述每个匹配框对中第一检测框和第二检测框之间的差异信息，得到所述第一损失，包括：
在所述匹配框对为多个的情况下，将每个所述匹配框对的所述差异信息进行累加，以得到所述第一损失。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述第一检测框和所述第二检测框均对应有关于所述目标的第一位置信息和/或第一类别信息；
所述差异信息包括以下至少一者：所述第一检测框和第二检测框之间关于所述第一位置信息的第一差异和关于所述第一类别信息的第二差异。


5.根据权利要求4所述的方法，其特征在于，所述基于表示相同的目标的所述第一检测框和所述第二检测框之间的差异信息，得到所述目标检测模型的第一损失，包括：
利用所述第一差异得到位置损失，并利用所述第二差异得到类别损失；
基于所述位置损失和类别损失，得到所述第一损失，其中，所述位置损失包括距离损失和/或检测框交并比损失。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一样本图像和第二样本图像来自于样本集，所述样本集中的样本图像包括已标注样本图像和/或未标样本图像，所述已标注样本图像标注有所述目标的真实框信息，其中，所述真实框信息包括关于所述目标的第二位置信息和第二类别信息；以及
在所述第一样本图像和第二样本图像为已标注样本图像的情况下，所述利用所述第一损失，调整所述目标检测模型的网络参数，包括：
将所述第一检测框和第二检测框中的至少一者作为目标检测框，利用所述目标检测框与对应的所述真实框信息之间的差异，得到第二损失；
利用所述第一损失和第二损失，调整所述目标检测模型的网络参数。


7.根据权利要求6所述的方法，其特征在于，所述利用所述第一损失和第二损失，调整所述目标检测模型的网络参数，包括：
利用加权后的所述第一损...

【专利技术属性】
技术研发人员：宋涛，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31