结合局部和全局特征的图片搜索方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种结合局部和全局特征的图片搜索方法、装置及电子设备，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。

Image search method, device and electronic equipment combining local and global features

【技术实现步骤摘要】
结合局部和全局特征的图片搜索方法、装置及电子设备
本专利技术涉及计算机视觉和机器学习
，尤其是涉及一种结合局部和全局特征的图片搜索方法、装置及电子设备。
技术介绍
图片搜索的目的是搜索出与某一图片相似或者局部与某一图片相似的图片，图片搜索通常应用在以图搜图的过程中。例如，在购物网站上，输入图片，搜索出与该图片相似的其它图片或者存在局部与该图片相似的图片。现有的以图搜图通常根据某一单一特征，以某一单一的方式进行搜索，由于搜索方式单一，会漏掉某些相似图片。例如，某些图片是由多个图像组合形成的，需要搜索的图像与这多个图像中的某一个相似，现有的搜索方式中会认为该由多个图像组合的图片和需要搜索的图像不相同，从而漏掉该图片。由此，在实际应用过程中，通过单一的方式进行图片搜索导致漏搜索。
技术实现思路
本专利技术实施例提供一种结合局部和全局特征的图片搜索方法、装置及电子设备，用以解决现有技术中的现有的通过单一的方式进行图片搜索导致漏搜索的问题。针对以上技术问题，第一方面，本专利技术的实施例提供了一种结合局部和全局特征的图片搜索方法，包括：接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；输出所述全局相似图片和所述局部相似图片。可选地，所述根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片，包括：对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。可选地，所述根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点，包括：根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；其中，所述预设参数为大于0且小于1的值。可选地，所述根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，包括：对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。可选地，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。第二方面，本专利技术的实施例提供了一种结合局部和全局特征的图片搜索装置，包括：接收模块，用于接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；搜索模块，用于从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；输出模块，用于输出所述全局相似图片和所述局部相似图片。可选地，所述搜索模块还用于：对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。可选地，所述搜索模块还用于：根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；其中，所述预设参数为大于0且小于1的值。可选地，所述搜索模块还用于：对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。可选地，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。第三方面，本专利技术的实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的结合局部和全局特征的图片搜索方法的步骤。第四方面，本专利技术的实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上所述的结合局部和全局特征的图片搜索方法的步骤。本专利技术的实施例提供了一种结合局部和全局特征的图片搜索方法、装置及电子设备，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的结合局部和全局特征的图片搜索方法的流程示意图；图2是本专利技术另一个实施例提供的结合图像局部本文档来自技高网...

【技术保护点】
1.一种结合局部和全局特征的图片搜索方法，其特征在于，包括：/n接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；/n从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；/n输出所述全局相似图片和所述局部相似图片。/n

【技术特征摘要】
1.一种结合局部和全局特征的图片搜索方法，其特征在于，包括：
接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出所述全局相似图片和所述局部相似图片。


2.根据权利要求1所述的结合局部和全局特征搜索图片的方法，其特征在于，所述根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片，包括：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。


3.根据权利要求2所述的结合局部和全局特征搜索图片的方法，其特征在于，所述根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点，包括：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。


4.根据权利要求1所述的结合局部和全局特征搜索图片的方法，其特征在于，所述根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，包括：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。


5.根据权利要求1所述的结合局部和全局特征搜索图片的方法，其特征在于，
全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。


6.一种结合局部和全局特征的图片搜索装置，其特征在于，包括：
接收模块，用于接收搜索指令和搜索图片；所述搜...

【专利技术属性】
技术研发人员：禹庆华，李斌，李国辉，
申请(专利权)人：奇安信科技集团股份有限公司，网神信息技术北京股份有限公司，
类型：发明
国别省市：北京;11