一种基于多视点及二部图匹配的3D目标检索方法技术

一种基于多视点及二部图匹配的3D目标检索方法，涉及3D目标检索。1)视点提取：从网络中查找相似的图像；2)特征提取：对查找的图像提取特征；3)视点特征聚类：对于网络中已经找到的图像提取代表性视点；4)二部图匹配：对于每一种特征，建立待查找模型与数据库中模型的二部图；5)多特征融合：通过建立的二部图，计算数据库中每个模型与待查找模型的相似度；6)初次排序：根据计算的相似度，对数据库中的模型进行排序；7)重排序：请用户对排序结果进行评价，根据用户的评价重新对数据库中的模型排序。可应对多特征情况，无需考虑3D模型与2D模型的转换问题，视点选择的自由度较大，可通过用户的反馈信息对检索结果进行合理调整。

【技术实现步骤摘要】

本专利技术涉及3D目标检索，尤其是涉及一种基于多视点及二部图匹配的3D目标检索方法。
技术介绍
随着图形硬件、计算机技术以及3D技术的发展——3D重建、3D模型，在3D电影、3D图形学、CAD制图和3D结构设计的广泛应用，因而对于3D目标检索技术的高效的提出了更高的要求。一般来说,3D目标检索技术根据被检索的目标的数据组织形式可以分为两类，基于模型(modelbased)的3D目标检索技术和基于视点(viewbased)的3D目标检索技术。但是由于在实际应用中获得3D目标的模型(model)是十分困难的。当然可以利用视点信息重建出3D目标的模型，但是这样做不仅会有很大的时间开销，而且重建出的模型往往与物体的真实样貌有较大的偏差。这就使得基于模型的3D目标检索技术有很大的局限性。与之相对的，基于视点的3D目标检索技术，不仅获取信息更为便利，而且运算效率高。同时由于前人在2D图像技术已经积累了大量的经验，这就使得基于视点的3D目标检索技术要优于基于模型的3D目标检索技术。在基于视点的3D目标检索的基础上，基于二部图匹配和特征融合可大幅度提高目标检索的性能。另外，现有技术无法处理用户的反馈信息，无法处理多特征的情况，检索效率低，无法处理用户的反馈信息，并存在以下技术问题：1、当3D物体的深度信息丢失，或者根本没有相应的3D模型(只有视点信息)时，如何对目标进行检索。2、如何利用同一3D物体提取的多个特征。3、当用户可以对部分检索的结果提供反馈信息时如何对检索的结果进行修正。
技术实现思路
本专利技术的目的在于提供一种基于多视点及二部图匹配的3D目标检索方法。本专利技术包括以下步骤：1)视点提取：从网络中查找相似的图像；2)特征提取：对查找的图像提取特征；3)视点特征聚类：对于网络中已经找到的图像提取代表性视点；4)二部图匹配：对于每一种特征，建立待查找模型与数据库中模型的二部图；5)多特征融合：通过建立的二部图，计算数据库中每个模型与待查找模型的相似度；6)初次排序：根据计算的相似度，对数据库中的模型进行排序；7)重排序：请用户对排序结果进行评价，根据用户的评价重新对数据库中的模型排序。在步骤1)中，所述视点提取的具体方法可为：将3D目标投影到2D平面上，或给真实场景中的物体拍照。在步骤2)中，所述特征提取的具体方法可为：对图像提取BoVW特征、椭圆傅里叶特征和Zernike矩特征。在步骤3)中，所述视点特征聚类的具体方法可为：假设对某个物体共有n0个视点，每个视点的特征分别为那么视点特征的聚类是把这些视点以“算法1”方式划分为多个类别，聚类的目的是用少数几个视点特征代表所有的视点特征；所述算法2为凝聚层次聚类即HAC算法，表示如下：(1)计算每两个视点之间的距离：若两个视点之间的距离小于给定的阈值，则将这两个视点合并成一个簇，则原有的n0个视点经过合并，形成了n1个簇；所述阈值是一个数字，可为0.75；所述簇是视点的集合，是将若干个视点看成是一个整体；(2)计算每两个簇之间的距离：若两个簇之间的距离小于给定的阈值，则将这两个簇合并成一个簇，原有的n1个视点经过合并，形成n2个簇；所述两个簇之间的距离是两个簇中视点的平均值之间的距离；所述阈值可为0.75；所述合并是集合运算中的“并”运算；(3)重复步骤(2)，直至任意两个簇的距离都大于给定的阈值；所述阈值可为0.75；(4)计算每个簇中视点的平均值，一个平均特征值代表一个簇，所有的簇代表当前的物体，即，经过凝聚层次聚类，将从前的n0个视点数量减少。在步骤4)中，所述二部图匹配的具体方法可为：通常认为两个物体之间的视点应该是一一对应的，而不是一对多的关系，这就需要对二部图进行优化，即二部图匹配，其主要目的是二部图的匹配是把视点特征之间有用的关系保留，去除无用的关系；所述二部图匹配可采用KM算法，采用贪婪的算法求解二部图匹配问题，具体方法如下：输入：二部图的边的矩阵ET(no*nq维)输出：二部图的关联矩阵X(no*nq维)X＝zeros(no,nq)//关联矩阵X初始化为与ET同样大小的全0矩阵，即X与ET中元素的排列方式相同，且元素值全为0。nmin＝min{nq,no本文档来自技高网...

【技术保护点】
一种基于多视点及二部图匹配的3D目标检索方法，其特征在于包括以下步骤：1)视点提取：从网络中查找相似的图像；2)特征提取：对查找的图像提取特征；3)视点特征聚类：对于网络中已经找到的图像提取代表性视点；4)二部图匹配：对于每一种特征，建立待查找模型与数据库中模型的二部图；5)多特征融合：通过建立的二部图，计算数据库中每个模型与待查找模型的相似度；6)初次排序：根据计算的相似度，对数据库中的模型进行排序；7)重排序：请用户对排序结果进行评价，根据用户的评价重新对数据库中的模型排序。

【技术特征摘要】
1.一种基于多视点及二部图匹配的3D目标检索方法，其特征在于包括以下步骤：1)视点提取：从网络中查找相似的图像；2)特征提取：对查找的图像提取特征；3)视点特征聚类：对于网络中已经找到的图像提取代表性视点；4)二部图匹配：对于每一种特征，建立待查找模型与数据库中模型的二部图；5)多特征融合：通过建立的二部图，计算数据库中每个模型与待查找模型的相似度；6)初次排序：根据计算的相似度，对数据库中的模型进行排序；7)重排序：请用户对排序结果进行评价，根据用户的评价重新对数据库中的模型排序。2.如权利要求1所述一种基于多视点及二部图匹配的3D目标检索方法，其特征在于在步骤1)中，所述视点提取的具体方法为：将3D目标投影到2D平面上，或给真实场景中的物体拍照。3.如权利要求1所述一种基于多视点及二部图匹配的3D目标检索方法，其特征在于在步骤2)中，所述特征提取的具体方法为：对图像提取BoVW特征、椭圆傅里叶特征和Zernike矩特征。4.如权利要求1所述一种基于多视点及二部图匹配的3D目标检索方法，其特征在于在步骤3)中，所述视点特征聚类的具体方法为：假设对某个物体共有n0个视点，每个视点的特征分别为那么视点特征的聚类是把这些视点以“算法1”方式划分为多个类别，聚类的目的是用少数几个视点特征代表所有的视点特征。5.如权利要求4所述一种基于多视点及二部图匹配的3D目标检...

【专利技术属性】
技术研发人员：纪荣嵘，张岩，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35