对候选图像进行重新排序的方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种对候选图像进行重新排序的方法、装置和电子设备，涉及图像检索技术领域，该方法包括获取查询图像和通过初始比对确定的所述查询图像对应的初始候选图像组，初始候选图像组中的每个候选图像均对应第一相似度和匹配信息(包括比中区域信息和/或比中特征点信息)；将候选图像对应的参考信息输入至神经网络，得到候选图像与查询图像的第二相似度，并根据候选图像对应的第一相似度和第二相似度确定候选图像的目标相似度；根据每个候选图像的目标相似度对初始候选图像组中的候选图像重新排序，得到查询图像的最终候选图像组。本发明专利技术可以准确提高相似度较高的候选图像的排前率，提升了候选图像查询的准确率和查询效率。效率。效率。

【技术实现步骤摘要】
对候选图像进行重新排序的方法、装置和电子设备


[0001]本专利技术涉及图像检索
，具体而言，涉及一种对候选图像进行重新排序的方法、装置和电子设备。

技术介绍

[0002]目前在图像检索时，相关技术中采用给出查询图像，按照给定查询条件在底库中进行查询，并返回若干个与查询图像比对分数较高的候选图像，根据每个候选图像的比对分数进行排序，并按照排序顺序采用候选列表的方式进行显示，之后由专家进一步从候选列表中人工筛选与查询图像真实匹配的候选图像。
[0003]上述查询图像为现场指/掌纹图像时，由于现场的指/掌纹图像通常具有残缺、形变的特点，与查询图像比对分数高的候选图像并不一定是与查询图像匹配的，与查询图像真实匹配的底库图像与查询图像的比对分数反而可能不高；并且随着底库中图像数量的增加，与查询图像真实匹配的底库图像在候选列表中的排前率会进一步降低，甚至不出现在候选列表。为了避免候选列表中漏掉与查询图像匹配的底库图像，通常需要将候选列表的长度增加，如此专家可能需要浏览几百个候选图像才能找到与查询图像真实匹配的底库图像，如此会导致查询的耗时长、效率较低。

技术实现思路

[0004]本专利技术的目的在于提供一种对候选图像进行重新排序的方法、装置和电子设备，基于初始比对结果生成参考信息，基于参考信息对初始比对结果进行重新排序得到最终候选列表，可以大幅提高与查询图像真实匹配的候选图像在最终候选列表中的排前率，从而提升了图像查询的准确率和查询效率。
[0005]第一方面，本专利技术提供一种对候选图像进行重新排序的方法，方法包括：获取查询图像和通过初始比对确定的查询图像对应的初始候选图像组；其中，初始候选图像组中的每个候选图像与查询图像对应有与查询图像对应的第一相似度和匹配信息；针对初始候选图像组中的每个候选图像，将候选图像对应的参考信息输入至神经网络，得到候选图像与查询图像的第二相似度，参考信息包括根据查询图像和候选图像确定的图像对、根据匹配信息确定的刚体对齐参数、比中区域信息、比中区域信息的图像表示、比中特征点信息、比中特征点信息的图像表示、候选图像中的全部特征点信息和查询图像中的全部特征点信息、候选图像中的全部特征点信息的图像表示和查询图像中的全部特征点信息的图像表示、根据比中区域信息和/或比中特征点信息确定的相对形变信息中的至少二者；根据候选图像对应的第一相似度和第二相似度确定候选图像的目标相似度；根据每个候选图像的目标相似度对初始候选图像组中的候选图像重新排序，得到查询图像的最终候选图像组。
[0006]在可选的实施方式中，根据查询图像和候选图像确定的图像对包括原始图像对对齐后所得图像对和/或归一化图像对对齐后所得图像对；
[0007]当参考信息包括原始图像对对齐后所得图像对时，确定原始图像对对齐后所得图
像对的步骤，包括：将查询图像和查询图像对应的初始候选图像组中的每个候选图像依次组成原始图像对；根据刚体对齐参数对查询图像和候选图像进行对齐处理，确定原始图像对对齐后所得图像对；刚体对齐参数是根据匹配信息确定的。
[0008]在可选的实施方式中，根据查询图像和候选图像确定的图像对包括原始图像对对齐后所得图像对和/或归一化图像对对齐后所得图像对；当参考信息包括归一化图像对对齐后所得图像对时，确定归一化图像对对齐后所得图像对的步骤，包括：将查询图像的各局部图像的像素值均值调整至目标均值，将查询图像的各局部图像的像素值方差调整至目标方差，将候选图像的各局部图像的像素值均值调整至目标均值，将候选图像的各局部图像的像素值方差调整至目标方差，得到归一化图像对；各局部图像的大小相同；基于刚体对齐参数对归一化图像对进行对齐处理，得到归一化图像对对齐后的图像对；刚体对齐参数是根据匹配信息确定的。
[0009]在可选的实施方式中，参考信息包括比中区域信息的图像表示；方法还包括：基于比中区域信息确定查询图像和候选图像对应的掩膜图像；分别对查询图像和候选图像与掩膜图像进行图像掩膜处理；基于刚体对齐参数对图像掩膜处理后的查询图像和候选图像进行对齐处理，得到比中区域信息的图像表示。
[0010]在可选的实施方式中，匹配信息包括比中特征点信息；参考信息包括比中特征点信息、候选图像中的全部特征点信息和查询图像中的全部特征点信息中至少一者；比中特征点信息、候选图像中的全部特征点信息和查询图像中的全部特征点信息包括以下至少一种：特征点位置、特征点角度、特征点类型、特征点质量以及特征点是否位于比中区域。
[0011]在可选的实施方式中，匹配信息包括比中特征点信息；参考信息包括比中特征点信息的图像表示、候选图像中的全部特征点信息的图像表示和查询图像中的全部特征点信息的图像表示中至少一者；图像表示包括至少一个图像层，每个图像层用于表征特征点的不同特征信息；其中，特征点信息包括以下信息中的至少一种：特征点位置、特征点类型、特征点角度、特征点质量以及特征点是否位于比中区域；方法还包括以下步骤之一：比中特征点信息的图像表示中特征点位置对应的图像层中特征点所在位置的像素值设置为第一像素值；非特征点所在位置设置为第二像素值；比中特征点信息的图像表示中表征特征点类型对应的图像层中特征点所在位置的像素值设置为特征点类型对应的像素值；非特征点所在位置设置为非特征点对应的像素值；比中特征点信息的图像表示中表征特征点角度对应的图像层中特征点所在位置的像素值设置为特征点角度对应的像素值；非特征点所在位置设置为非特征点对应的像素值；比中特征点信息的图像表示中表征特征点质量对应的图像层中特征点所在位置的像素值设置为特征点质量；若比中特征点位于比中区域，比中特征点信息的图像表示中表征特征点是否位于比中区域对应的图像层中特征点所在位置的像素值设置为第三像素值；若比中特征点不位于比中区域，比中特征点信息的图像表示中表征特征点是否位于比中区域对应的图像层中特征点所在位置的像素值设置为第四像素值。
[0012]在可选的实施方式中，参考信息包括相对形变信息；方法还包括：
[0013]根据比中区域信息和/或比中特征点信息对应的位置信息，确定查询图像与候选图像之间的非线性变换参数；根据非线性变换参数对查询图像中等距采样的多个图像采样点的原始坐标进行非线性变换处理，得到变换坐标；根据变换坐标和原始坐标的差异得到候选图像在多个图像采样点处对应的相对形变信息；其中，原始坐标为图像采样点在查询
图像中的坐标；根据多个图像采样点处对应的相对形变信息，在多个图像采样点之外的其他像素点处进行插值，得到候选图像对应的相对形变信息。
[0014]在可选的实施方式中，根据比中区域信息和/或比中特征点信息对应的位置信息，确定查询图像与候选图像之间的非线性变换参数的步骤，包括：针对比中区域信息，确定比中区域信息中的关键特征点在查询图像中第一位置信息，以及关键特征点在候选图像中对应的第二位置信息，基于第一位置信息和第二位置信息确定查询图像与候选图像之间的非线性变换参数；其中，关键特征点至少包括比中区域边缘点、比中区域中心点和比中特征点中的一种或多种；和/或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对候选图像进行重新排序的方法，其特征在于，所述方法包括：获取查询图像和通过初始比对确定的所述查询图像对应的初始候选图像组；其中，所述初始候选图像组中的每个候选图像对应有与所述查询图像对应的第一相似度和匹配信息，所述匹配信息包括比中区域信息和/或比中特征点信息；针对所述初始候选图像组中的每个候选图像，将所述候选图像对应的参考信息输入至神经网络，得到所述候选图像与所述查询图像的第二相似度，所述参考信息包括根据查询图像和所述候选图像确定的图像对、根据匹配信息确定的刚体对齐参数、所述比中区域信息、所述比中区域信息的图像表示、所述比中特征点信息、所述比中特征点信息的图像表示、候选图像中的全部特征点信息和查询图像中的全部特征点信息、候选图像中的全部特征点信息的图像表示和查询图像中的全部特征点信息的图像表示、根据比中区域信息和/或比中特征点信息确定的相对形变信息中的至少二者；根据所述候选图像对应的第一相似度和第二相似度确定所述候选图像的目标相似度；根据每个所述候选图像的目标相似度对所述初始候选图像组中的候选图像重新排序，得到所述查询图像的最终候选图像组。2.根据权利要求1所述的方法，其特征在于，所述根据查询图像和所述候选图像确定的图像对包括原始图像对对齐后所得图像对和/或归一化图像对对齐后所得图像对；当所述参考信息包括原始图像对对齐后所得图像对时，确定所述原始图像对对齐后所得图像对的步骤，包括：将查询图像和所述查询图像对应的初始候选图像组中的每个候选图像依次组成原始图像对；根据所述刚体对齐参数对所述查询图像和所述候选图像进行对齐处理，确定所述原始图像对对齐后所得图像对；所述刚体对齐参数是根据所述匹配信息确定的。3.根据权利要求1或2所述的方法，其特征在于，所述根据查询图像和所述候选图像确定的图像对包括原始图像对对齐后所得图像对和/或归一化图像对对齐后所得图像对；当所述参考信息包括归一化图像对对齐后所得图像对时，确定所述归一化图像对对齐后所得图像对的步骤，包括：将所述查询图像的各局部图像的像素值均值调整至目标均值，将所述查询图像的各局部图像的像素值方差调整至目标方差，将所述候选图像的各局部图像的像素值均值调整至目标均值，将所述候选图像的各局部图像的像素值方差调整至目标方差，得到归一化图像对；所述各局部图像的大小相同；基于所述刚体对齐参数对所述归一化图像对进行对齐处理，得到所述归一化图像对对齐后的图像对；所述刚体对齐参数是根据所述匹配信息确定的。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述参考信息包括所述比中区域信息的图像表示；所述方法还包括：基于所述比中区域信息确定所述查询图像和所述候选图像对应的掩膜图像；分别对所述查询图像和所述候选图像与所述掩膜图像进行图像掩膜处理；基于所述刚体对齐参数对图像掩膜处理后的所述查询图像和所述候选图像进行对齐处理，得到所述比中区域信息的图像表示。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述匹配信息包括比中特征点信
息；所述参考信息包括所述比中特征点信息、所述候选图像中的全部特征点信息和查询图像中的全部特征点信息中至少一者；所述比中特征点信息、候选图像中的全部特征点信息和查询图像中的全部特征点信息包括以下至少一种：特征点位置、特征点角度、特征点类型、特征点质量以及特征点是否位于比中区域。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述匹配信息包括比中特征点信息；所述参考信息包括所述比中特征点信息的图像表示、所述候选图像中的全部特征点信息的图像表示和查询图像中的全部特征点信息的图像表示中至少一者；所述图像表示包括至少一个图像层，每个图像层用于表征特征点的不同特征信息；其中，所述特征点信息包括以下信息中的至少一种：特征点位置、特征点类型、特征点角度、特征点质量以及特征点是否位于比中区域；所述方法还包括以下步骤之一：特征点信息的图像表示中特征点位置对应的图像层中特征点所在位置的像素值设置为第一像素值；非特征...

【专利技术属性】
技术研发人员：王心安，赵意，陈卓，汤林鹏，邰骋，
申请(专利权)人：墨奇科技北京有限公司，
类型：发明
国别省市：