一种特征提取模型构建方法、目标检测方法及其设备技术

本申请公开了一种特征提取模型构建方法、目标检测方法及其设备，先利用样本二元组和该样本二元组的实际信息相似度构建特征提取模型，以使构建好的特征提取模型具有较好的特征提取性能；再利用构建好的特征提取模型针对待检测图像和待检测物体文本标识进行特征提取，得到并输出该待检测图像的提取特征和该待检测物体文本标识的提取特征；最后，依据该待检测图像的提取特征与该待检测物体文本标识的提取特征之间的相似度，确定该待检测图像对应的目标检测结果，以使该目标检测结果能够准确地表示出该待检测图像与该待检测物体文本标识之间的关联关系(如，该待检测图像中是否存在由待检测物体文本标识唯一标识的目标物体等)，如此有利于提高目标检测准确性。如此有利于提高目标检测准确性。如此有利于提高目标检测准确性。

【技术实现步骤摘要】
一种特征提取模型构建方法、目标检测方法及其设备


[0001]本申请涉及图像处理
，尤其涉及一种特征提取模型构建方法、目标检测方法及其设备。

技术介绍

[0002]目标检测(也称，目标提取)是一种基于目标几何统计及特征的图像分割技术；而且目标检测的应用领域十分广泛(如，目标检测可以应用于机器人或者自动驾驶等领域)。
[0003]然而，因现有的目标检测技术依旧存在一些缺陷，使得如何提高目标检测准确性仍是一个亟待解决的技术问题。

技术实现思路

[0004]为了解决现有技术中存在的以上技术问题，本申请提供一种特征提取模型构建方法、目标检测方法及其设备，能够提高目标检测准确性。
[0005]为了实现上述目的，本申请实施例提供的技术方案如下：
[0006]本申请实施例提供一种特征提取模型构建方法，所述方法包括：
[0007]获取样本二元组和所述样本二元组的实际信息相似度；其中，所述样本二元组包括样本图像和样本物体文本标识；所述样本二元组的实际信息相似度用于描述所述样本图像实际携带的信息和所述样本物体文本标识实际携带的信息之间的相似程度；
[0008]将所述样本二元组输入待训练模型，得到所述待训练模型输出的所述样本二元组的提取特征；其中，所述样本二元组的提取特征包括所述样本图像的提取特征和所述样本物体文本标识的提取特征；
[0009]将所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度，确定为所述样本二元组的预测信息相似度；
[0010]根据所述样本二元组的实际信息相似度与所述样本二元组的预测信息相似度，更新所述待训练模型，并继续执行所述将所述样本二元组输入待训练模型的步骤，直至在达到预设停止条件时，根据所述待训练模型，确定特征提取模型。
[0011]在一种可能的实施方式中，所述待训练模型包括文本特征提取子模型和图像特征提取子模型；
[0012]所述样本二元组的提取特征的确定过程，包括：
[0013]将所述样本图像输入所述图像特征提取子模型，得到所述图像特征提取子模型输出的所述样本图像的提取特征；
[0014]将所述样本物体文本标识输入所述文本特征提取子模型，得到所述文本特征提取子模型输出的所述样本物体文本标识的提取特征。
[0015]在一种可能的实施方式中，在所述将所述样本二元组输入待训练模型之前，所述方法还包括：
[0016]利用预设先验知识，对所述文本特征提取子模型进行初始化处理，以使初始化处
理后的文本特征提取子模型针对任意两个物体输出的文本特征之间的相似度与所述两个物体之间的关联度呈正相关；其中，所述预设先验知识用于描述不同物体之间的关联度。
[0017]在一种可能的实施方式中，若所述样本图像的提取特征包括所述样本图像的特征图，则所述所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度的确定过程，包括：
[0018]分别确定所述样本图像的特征图中各个像素级提取特征与所述样本物体文本标识的提取特征之间的相似度；
[0019]根据所述样本图像的特征图中各个像素级提取特征与所述样本物体文本标识的提取特征之间的相似度，确定所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度。
[0020]在一种可能的实施方式中，所述样本二元组的实际信息相似度的确定过程，包括：
[0021]若所述样本物体文本标识用于唯一标识样本物体，且所述样本图像包括所述样本物体，则根据所述样本物体在所述样本图像中的实际位置，确定所述样本二元组的实际信息相似度。
[0022]本申请实施例还提供了一种目标检测方法，所述方法包括：
[0023]获取待检测图像和待检测物体文本标识；
[0024]将所述待检测图像和待检测物体文本标识输入预先构建的特征提取模型，得到所述特征提取模型输出的所述待检测图像的提取特征和所述待检测物体文本标识的提取特征；其中，所述特征提取模型是利用本申请实施例提供的特征提取模型构建方法的任一实施方式进行构建的；
[0025]根据所述待检测图像的提取特征与所述待检测物体文本标识的提取特征之间的相似度，确定所述待检测图像对应的目标检测结果。
[0026]本申请实施例还提供了一种特征提取模型构建装置，包括：
[0027]样本获取单元，用于获取样本二元组和所述样本二元组的实际信息相似度；其中，所述样本二元组包括样本图像和样本物体文本标识；所述样本二元组的实际信息相似度用于描述所述样本图像实际携带的信息和所述样本物体文本标识实际携带的信息之间的相似程度；
[0028]特征预测单元，用于将所述样本二元组输入待训练模型，得到所述待训练模型输出的所述样本二元组的提取特征；其中，所述样本二元组的提取特征包括所述样本图像的提取特征和所述样本物体文本标识的提取特征；
[0029]模型更新单元，用于根据所述样本二元组的实际信息相似度、以及所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度，更新所述待训练模型，并继续执行所述将所述样本二元组输入待训练模型的步骤，直至在达到预设停止条件时，根据所述待训练模型，确定特征提取模型。
[0030]本申请实施例还提供了一种目标检测装置，包括：
[0031]信息获取单元，用于获取待检测图像和待检测物体文本标识；
[0032]特征提取单元，用于将所述待检测图像和待检测物体文本标识输入预先构建的特征提取模型，得到所述特征提取模型输出的所述待检测图像的提取特征和所述待检测物体文本标识的提取特征；其中，所述特征提取模型是利用本申请实施例提供的特征提取模型
构建方法的任一实施方式进行构建的；
[0033]结果确定单元，用于根据所述待检测图像的提取特征与所述待检测物体文本标识的提取特征之间的相似度程度，确定所述待检测图像对应的目标检测结果。
[0034]本申请实施例还提供了一种设备，其特征在于，所述设备包括处理器以及存储器：
[0035]所述存储器用于存储计算机程序；
[0036]所述处理器用于根据所述计算机程序执行本申请实施例提供的特征提取模型构建方法的任一实施方式，或者执行本申请实施例提供的目标检测方法的任一实施方式。
[0037]本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行本申请实施例提供的特征提取模型构建方法的任一实施方式，或者执行本申请实施例提供的目标检测方法的任一实施方式。
[0038]本申请实施例还提供了一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例提供的特征提取模型构建方法的任一实施方式，或者执行本申请实施例提供的目标检测方法的任一实施方式。
[0039]与现有技术相比，本申请实施例至少具有以下优点：
[0040]本申请实施例提供的技术方案中，先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取模型构建方法，其特征在于，所述方法包括：获取样本二元组和所述样本二元组的实际信息相似度；其中，所述样本二元组包括样本图像和样本物体文本标识；所述样本二元组的实际信息相似度用于描述所述样本图像实际携带的信息和所述样本物体文本标识实际携带的信息之间的相似程度；将所述样本二元组输入待训练模型，得到所述待训练模型输出的所述样本二元组的提取特征；其中，所述样本二元组的提取特征包括所述样本图像的提取特征和所述样本物体文本标识的提取特征；将所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度，确定为所述样本二元组的预测信息相似度；根据所述样本二元组的实际信息相似度与所述样本二元组的预测信息相似度，更新所述待训练模型，并继续执行所述将所述样本二元组输入待训练模型的步骤，直至在达到预设停止条件时，根据所述待训练模型，确定特征提取模型。2.根据权利要求1所述的方法，其特征在于，所述待训练模型包括文本特征提取子模型和图像特征提取子模型；所述样本二元组的提取特征的确定过程，包括：将所述样本图像输入所述图像特征提取子模型，得到所述图像特征提取子模型输出的所述样本图像的提取特征；将所述样本物体文本标识输入所述文本特征提取子模型，得到所述文本特征提取子模型输出的所述样本物体文本标识的提取特征。3.根据权利要求2所述的方法，其特征在于，在所述将所述样本二元组输入待训练模型之前，所述方法还包括：利用预设先验知识，对所述文本特征提取子模型进行初始化处理，以使初始化处理后的文本特征提取子模型针对任意两个物体输出的文本特征之间的相似度与所述两个物体之间的关联度呈正相关；其中，所述预设先验知识用于描述不同物体之间的关联度。4.根据权利要求1所述的方法，其特征在于，若所述样本图像的提取特征包括所述样本图像的特征图，则所述所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度的确定过程，包括：分别确定所述样本图像的特征图中各个像素级提取特征与所述样本物体文本标识的提取特征之间的相似度；根据所述样本图像的特征图中各个像素级提取特征与所述样本物体文本标识的提取特征之间的相似度，确定所述样本图像的提取特征与所述样本物体文本标识的提取特征之间的相似度。5.根据权利要求1所述的方法，其特征在于，所述样本二元组的实际信息相似度的确定过程，包括：若所述样本物体文本标识用于唯一标识样本物体，且所述样本图像包括所述样本物体，则根据所述样本物体在所述样本图像中的实际位置，确定所述样本二元组的实际信息相似度。6.根据权利要求5所述的方法，其特征在于，若所述样本二元组的实际信息相似度包括所述样本图像中各个像素点对应的实际信息相似度，则所述根据所述样本物体在所述样本
图像中的实际位置，确定所述样本二元组的实际信息相似度，包括：根据所述样本物体在所述样本图像中的实际位置，确定所述样本物体的图像区域；将所述样本物体的图像区域内各个像素点对应的实际信息相似度均确定为第一预设相似度值；将所述...

【专利技术属性】
技术研发人员：江毅，孙培泽，杨朔，袁泽寰，王长虎，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：