图像检索方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种图像检索方法、装置、设备及计算机可读存储介质；方法包括：通过分类量化联合网络，对待检索图像进行分类量化处理，得到检索类别向量；在检索类别向量表征的类别空间中进行特征量化处理，得到检索量化特征；分类量化联合网络是通过对分类量化处理与特征量化处理进行联合多任务学习得到的网络模型；根据检索类别向量与预设分类索引关系中每个库类别编码的差异度，确定候选库类别编码，并确定候选库类别编码对应的候选库量化特征集合；在候选库量化特征集合中，确定相似度与检索量化特征匹配的目标库量化特征集合，并获取目标库量化特征集合对应的目标库图像集合，作为检索结果。通过本申请，能够提高图像检索的准确度与效率。索的准确度与效率。索的准确度与效率。

【技术实现步骤摘要】
图像检索方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种图像检索方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]目前，相关技术的图像检索方法通常需要使用神经网络模型提取图像的量化特征以建立图像库与待检索图像的检索索引，并提取图像的嵌入特征(embedding)以进行待检索图像与图像库中库图像之间的相似度度量，进而根据相似度度量结果从图像库中召回相应的检索结果图像。相关技术的模型学习方法通常是用训练深度学习模型进行embedding特征提取，然后训练量化模型对提取出的embedding进行K
‑
means算法聚类或乘积量化(Product Quantization，PQ)方法的特征量化，根据量化后的特征来建立检索索引。这种通过非端到端的处理方法容易产生从embedding到量化的过程的损失，进而影响相似度度量以及检索结果召回的准确性。并且，在图像库的海量检索索引中进行图像检索的耗时较长，图像检索效率低。

技术实现思路

[0003]本申请实施例提供一种图像检索方法、装置、设备及计算机可读存储介质，能够提高图像检索的准确度与效率。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种图像检索方法，包括：
[0006]通过分类量化联合网络，对待检索图像进行分类量化处理，得到所述待检索图像对应的检索类别向量；
[0007]在所述检索类别向量表征的类别空间中，对所述待检索图像进行特征量化处理，得到所述待检索图像对应的检索量化特征；所述分类量化联合网络是通过对分类量化处理与特征量化处理进行联合多任务学习得到的网络模型；
[0008]根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码，并确定所述候选库类别编码对应的候选库量化特征集合；所述预设分类索引关系包含至少一个库类别编码与至少一个库量化特征之间的对应关系，以及至少一个库量化特征与预设图像库中的至少一个库图像之间的对应关系；
[0009]在所述候选库量化特征集合中，确定相似度与所述检索量化特征匹配的目标库量化特征集合，并获取所述目标库量化特征集合对应的目标库图像集合，作为检索结果；所述检索结果表征与所述待检索图像匹配的库图像。
[0010]本申请实施例提供一种图像检索装置，包括：
[0011]分类量化联合网络，用于对待检索图像进行分类量化处理，得到所述待检索图像对应的检索类别向量；在所述检索类别向量表征的类别空间中，对所述待检索图像进行特征量化处理，得到所述待检索图像对应的检索量化特征；所述分类量化联合网络是通过对
分类量化处理与特征量化处理进行联合多任务学习得到的网络模型；
[0012]检索模块，用于根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码，并确定所述候选库类别编码对应的候选库量化特征集合；所述预设分类索引关系包含至少一个库类别编码与至少一个库量化特征之间的对应关系，以及至少一个库量化特征与预设图像库中的至少一个库图像之间的对应关系；
[0013]召回模块，用于在所述候选库量化特征集合中，确定相似度与所述检索量化特征匹配的目标库量化特征集合，并获取所述目标库量化特征集合对应的目标库图像集合，作为检索结果；所述检索结果表征与所述待检索图像匹配的库图像。
[0014]上述装置中，所述图像检索装置还包括索引构建模块，所述分类量化联合网络，还用于所述根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码之前，对所述预设图像库中的每个库图像进行分类量化处理与特征量化处理，得到所述每个库图像对应的库类别向量与库量化特征；
[0015]所述索引构建模块，用于对所述每个库图像对应的库类别向量进行编码，得到所述至少一个库图像对应的至少一个库类别编码；根据所述每个库图像对应的库类别编码与库量化特征，生成所述至少一个库类别编码中每个库类别编码与至少一个库量化特征的一级对应关系，以及所述至少一个库量化特征中每个库量化特征与至少一个库图像的二级对应关系；将所述一级对应关系与所述二级对应关系作为所述预设分类索引关系。
[0016]上述装置中，所述索引构建模块，还用于根据所述每个库图像对应的库类别编码，确定同一库类别编码对应的至少一个同类库图像，并将所述至少一个同类库图像对应的至少一个库量化特征，作为所述同一库类别编码对应的至少一个库量化特征，进而得到所述至少一个库类别编码中每个库类别编码与至少一个库量化特征的一级对应关系；对于所述至少一个库量化特征中的每个库量化特征，根据所述每个库图像对应的库量化特征，确定同一库量化特征对应的至少一个库图像，从而得到所述至少一个库量化特征中每个库量化特征与至少一个库图像的二级对应关系。
[0017]上述装置中，所述检索模块，还用于对所述检索类别向量进行编码，得到检索类别编码；计算所述检索类别编码与所述每个库类别编码之间的编码位距离，并将所述编码位距离满足预设差异度条件的库类别编码作为所述候选库类别编码；根据所述一级对应关系，确定所述候选库类别编码对应的至少一个候选库量化特征，作为所述候选库量化特征集合。
[0018]上述装置中，所述召回模块，还用于计算所述候选库量化特征集合中每个候选库量化特征与所述检索量化特征之间的特征相似度；将所述特征相似度满足预设相似度条件的候选库量化特征作为目标库量化特征，得到所述目标库量化特征集合。
[0019]上述装置中，所述分类量化联合网络，还用于对所述待检索图像进行特征提取与特征映射，得到所述待检索图像的检索向量特征；根据所述检索向量特征进行分类预测，得到所述待检索图像对应的分类预测结果，并基于所述分类预测结果进行二值量化，得到所述检索类别向量；在所述检索类别向量表征的类别空间内对所述检索向量特征进行符号量化处理，得到所述待检索图像的符号向量表征，作为所述检索量化特征。
[0020]上述装置中，所述分类量化联合网络，还用于通过所述分类量化联合网络，对所述预设图像库中的每个库图像进行全局嵌入特征提取，得到所述每个库图像对应的库全局特
征；对所述待检索图像进行全局嵌入特征提取，得到所述待检索图像对应的检索全局特征；
[0021]所述召回模块，还用于在获取到所述目标库图像集合的情况下，计算所述检索全局特征与所述每个目标库图像对应的库全局特征之间的特征距离；按照所述特征距离从小到大的顺序，选取预设数量个目标库图像，作为所述检索结果。
[0022]上述装置中，所述图像检索装置还包括训练模块，所述训练模块，用于所述通过所述分类量化联合网络，对所述待检索图像进行特征提取与特征映射，得到所述待检索图像的检索向量特征之前，获取至少一个相似图像对集合；每个相似图像对集合中包含至少一对相似图像；每对相似图像包含相同的预设标注类别的样本图像；通过初始分类量化联合网络，对所述每个相似图像对集合中的每个样本图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：通过分类量化联合网络，对待检索图像进行分类量化处理，得到所述待检索图像对应的检索类别向量；在所述检索类别向量表征的类别空间中，对所述待检索图像进行特征量化处理，得到所述待检索图像对应的检索量化特征；所述分类量化联合网络是通过对分类量化处理与特征量化处理进行联合多任务学习得到的网络模型；根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码，并确定所述候选库类别编码对应的候选库量化特征集合；所述预设分类索引关系包含至少一个库类别编码与至少一个库量化特征之间的对应关系，以及至少一个库量化特征与预设图像库中的至少一个库图像之间的对应关系；在所述候选库量化特征集合中，确定相似度与所述检索量化特征匹配的目标库量化特征集合，并获取所述目标库量化特征集合对应的目标库图像集合；根据所述目标库图像集合，得到所述待检索图像对应的检索结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码之前，所述方法还包括：通过所述分类量化联合网络，对所述预设图像库中的每个库图像进行分类量化处理与特征量化处理，得到所述每个库图像对应的库类别向量与库量化特征；对所述每个库图像对应的库类别向量进行编码，得到所述至少一个库图像对应的至少一个库类别编码；根据所述每个库图像对应的库类别编码与库量化特征，生成所述至少一个库类别编码中每个库类别编码与至少一个库量化特征的一级对应关系，以及所述至少一个库量化特征中每个库量化特征与至少一个库图像的二级对应关系；将所述一级对应关系与所述二级对应关系作为所述预设分类索引关系。3.根据权利要求2所述的方法，其特征在于，所述根据所述每个库图像对应的库类别编码与库量化特征，生成所述至少一个库类别编码中每个库类别编码与至少一个库量化特征的一级对应关系，以及所述至少一个库量化特征中每个库量化特征与至少一个库图像的二级对应关系，包括：根据所述每个库图像对应的库类别编码，确定同一库类别编码对应的至少一个同类库图像，并将所述至少一个同类库图像对应的至少一个库量化特征，作为所述同一库类别编码对应的至少一个库量化特征，进而得到所述至少一个库类别编码中每个库类别编码与至少一个库量化特征的一级对应关系；对于所述至少一个库量化特征中的每个库量化特征，根据所述每个库图像对应的库量化特征，确定同一库量化特征对应的至少一个库图像，从而得到所述至少一个库量化特征中每个库量化特征与至少一个库图像的二级对应关系。4.根据权利要求2所述的方法，其特征在于，所述根据所述检索类别向量与预设分类索引关系中至少一个库类别编码的差异度，确定候选库类别编码，并确定所述候选库类别编码对应的候选库量化特征集合，包括：对所述检索类别向量进行编码，得到检索类别编码；计算所述检索类别编码与所述每个库类别编码之间的编码位距离，并将所述编码位距
离满足预设差异度条件的库类别编码作为所述候选库类别编码；根据所述一级对应关系，确定所述候选库类别编码对应的至少一个候选库量化特征，作为所述候选库量化特征集合。5.根据权利要求1所述的方法，其特征在于，所述在所述候选库量化特征集合中，确定相似度与所述检索量化特征匹配的目标库量化特征集合，包括：计算所述候选库量化特征集合中每个候选库量化特征与所述检索量化特征之间的特征相似度；将所述特征相似度满足预设相似度条件的候选库量化特征作为目标库量化特征，得到所述目标库量化特征集合。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述通过分类量化联合网络，对待检索图像进行分类量化处理，得到所述待检索图像对应的检索类别向量，包括：通过所述分类量化联合网络，对所述待检索图像进行特征提取与特征映射，得到所述待检索图像的检索向量特征；根据所述检索向量特征进行分类预测，得到所述待检索图像对应的分类预测结果，并基于所述分类预测结果进行二值量化，得到所述检索类别向量；所述在所述检索类别向量表征的类别空间中，对所述待检索图像进行特征量化处理，得到所述待检索图像对应的检索量化特征，包括：通过所述分类量化联合网络，在所述检索类别向量表征的类别空间内对所述检索向量特征进行符号量化处理，得到所述待检索图像的符号向量表征，作为所述检索量化特征。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述分类量化联合网络，对所述预设图像库中的每个库图像进行全局嵌入特征提取，得到所述每个库图像对应的库全局特征；对所述待检索图像进行全局嵌入特征提取，得到所述待检索图像对应的检索全局特征；在获取到所述目标库图像集合的情况下，计算所述检索全局特征与所述每个目标库图像对应的库全局特征之间的特征距离；按照所述特征距离从小到大的顺序，选取前预设数量个目标库图像，作为所述检索结果。8.根据权利要求6所述的方法，其特征在于，所述通过所述分类量化联合网络，对所述待检索图像进行特征提取与特征映射，得到所述待检索图像的检索向量特征之前，所述方法还包括：获取至少一个相似图像对集合；每个相似图像对集合中包含至少一对相似图像；每对相似图像包含相同的预设标注类别的样本图像；通过初始分类量化联合网络，对所述每个相似图像对集合中的每个样本图像进行特征提取与特征映射，得到所述每个样本图像的样本向量特征；根据所述样本向量特征进行分类预测与二值量化，得到所...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：