一种立体图像特征匹配方法组成比例

本发明专利技术公开了一种立体图像特征匹配方法，首先定义方向大约一致约束关系，然后根据此约束关系对标准的K-d树进行改进，构建一种更高效的搜索树结构，即层次结构的K-d树，最后在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法。本发明专利技术所提方法获得了更高的匹配效率，并通过实验对比，验证了本发明专利技术的有效性。

【技术实现步骤摘要】

本专利技术属于计算机视觉和图像处理领域，涉及一种立体图像特征匹配方法，尤其涉及一种以SIFT特征为特征对象、运用K-d树结构对立体图像进行特征匹配方法。
技术介绍
在机器视觉和图形图像处理领域，特征匹配是非常重要的环节，特征的选择及匹配的效率和精度决定最终处理效果的优劣。图像特征从尺度上分为局部特征和全局特征，全局特征包括颜色、纹理、形状等，而局部特征包括点、线、区域等。由于局部特征点具有很好稳定性，不易受外界干扰，因此得到了研究人员的广泛关注，并提出了很多关于局部特征描述的方法。方向梯度直方图(HistogramofOrientedGradient,HOG)特征描述子[文献1]，通过计算局部区域的梯度方向并统计，形成直方图，用此来表示一个特征。由于梯度的性质，导致其对噪声非常敏感；SIFT特征是DavidG.Lowe[文献2]在1999年初次提出，并在2004年[文献3]对此作了更为详细的阐述和应用的介绍，其全称为尺度不变特征变换(ScaleInvariantFeaturesTransform)。由于其对图像尺度、旋转、一定角度范围的仿射和视角等变化具有不变性，同时对于一些噪声和光照变化也有一定的鲁棒性，在图像检索[文献4][文献5]、物体检测[文献6]和识别[文献7][文献8]、场景分类[文献9][文献10]等方面得到了成功的应用。由于SIFT在诸多应用中的出色表现，研究人员对此展开了大量的研究，总体可以分为三类：一是鉴于SIFT的各种功能提出类似(SIFT-like)的特征描述符，如SIFT-Rank[文献11]、SURF[文献12]、BRIEF[文献13]以及在BRIEF基础上改进的ORB[文献14]等；二是对SIFT的优化，包括对度量方法的优化，[文献15]采用有别于传统L2距离的EMD(EarthMover’sDistance)变量(类似的距离还有diffusiondistance[文献16]和EMDMOD[文献17])；对描述符结构的优化，主要是优化描述符的长度问题(标准的长度是128位)，PCA-SIFT[文献18]是将主成分分析技术运用到描述符维度的优化上，在以特征点为中心的41*41的图像块上计算2*39*39＝3042维的向量，运用PCA技术达到降维的目的(如20维)；AlexandraGilinskyetal.提出了一种压缩的描述符的表示，SIFTpack，其考虑到两个描述符有可能存在重叠，这样的话，重叠部分就被重复存储了，对这个问题的研究不仅可以降低存储，同时还会带来匹配性能上的提升[文献19]；三是对SIFT的扩展，如受光流启发的SIFTFlow[文献20]，在一个数据集中将查询图像(queryimage)对齐于一个与之最近的图像，可用于运动预测；Spatio-temporalSIFT[文献21]将时空信息引入到DoG的计算中，并将视频帧集叠加成一个时空体[文献22]，那么极值点的选取就在时空差分金字塔中的三个方向(xy、xt和yt)的切片中进行。在特征匹配时，BruteForce方法是最简单的方法，优点是可以得到准确的匹配结果，但是时间上花费比较多，效率较低。在最新版本OpenCV-2.4.11中，SIFT特征匹配采用的是基于标准的K-d树(StandardK-dtree,简称SKD树)的算法，获取目标特征点集中最优的2个特征点，通过计算距离比值而来决定是否匹配。该方法有较高的计算效率和精度，但最近的CasHash[文献23]方法取得了比SKD树更好的运行效果。CasHash方法是由JianCheng等人提出的基于哈希的方法，称为级联哈希(CascadeHashing)，首先运用一个短编码的哈希查找来进行一遍粗略搜索，为参考图像I建立一个查找表，表中有多个桶(bucket)，那么I中的查询特征点p在目标图像J中的匹配点都会落入同一个桶中；经过粗略的搜索后，在哈希查找表上通过计算每个候选对象的汉明距离(HammingDistance)来进行精细搜索；最后在经过汉明距离排序的候选中，选择前k个点，再通过欧式距离获得最近邻和次近邻用于距离比值，获得匹配点。通过实验，CasHash方法优于SKD树方法，且比同类的哈希方法LDAHash[文献24]有更高的匹配效率。本专利技术受SKD树方法的启发，设计了效率更高且更精确的层次结构的K-d树(HierarchicalK-dtree,简称HKD树)用于立体图像对的匹配。因此，除了与SKD树方法比较外，同时还与BruteForce方法和最新的CasHash方法进行对比，并通过大量的实验验证了本专利技术的有效性。[文献1]N.DalalandB.Triggs,\HistogramsofOrientedGradientsforHumanDetection\,Proc.IEEEConf.ComputerVisionandPatternRecognition,2005.[文献2]Lowe,D.G.1999.Objectrecognitionfromlocalscale-invariantfeatures.InInternationalConferenceonComputerVision,Corfu,Greece,pp.1150-1157.[文献3]D.Lowe,“DistinctiveImageFeaturesfromScale-InvariantKeypoints,”Int’lJ.ComputerVision,vol.2,no.60,pp.91-110,2004.[文献4]Philbin,J.,Chum,O.,Isard,M.,Sivic,J.,Zisserman,A.:Objectretrievalwithlargevocabulariesandfastspatialmatching.In:CVPR(2007).[文献5]Snavely,N.,Seitz,S.,Szeliski,R.:Phototourism:exploringphotocollectionsin3D.ACMTransactionsonGraphics(TOG)25(3),835–846(2006).[文献6]Mikolajczyk,K.,Leibe,B.,Schiele,B.:Multipleobjectclassdetectionwithagenerativemodel.In:CVPR(2006).[文献7]Ferrari,V.,Tuytelaars,T.,VanGool,L.:Simultaneousobjectrecognitionandsegmentationbyimageexplora本文档来自技高网...

【技术保护点】
一种立体图像特征匹配方法，其特征在于：首先定义方向大约一致约束关系，然后根据此约束关系对标准的K‑d树进行改进，构建一种更高效的搜索树结构，即层次结构的K‑d树，最后在方向大约一致约束关系和层次结构的K‑d树基础上设计出快速匹配算法；所述定义方向大约一致约束关系，是根据单个物体或场景的各个局部位置间的相对顺序性，引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系，整个定义过程为：首先定义参考图像和目标图像的特征点集，两个特征点集间的匹配点对和匹配线；然后在匹配点对的基础上定义匹配特征向量及匹配特征向量集；最后定义方向大约一致约束；所述构建层次结构的K‑d树，整个构建过程为：针对需要进行特征匹配的立体图像对，提取立体图像的特征点集R和T，分别取最顶端和最底端的匹配特征向量ltop和lbottom；然后根据匹配特征向量ltop和lbottom在特征集R中的特征点rtop和rbottom的纵坐标和无仿射变换条件下将R和T均匀地分成H层，每一层srk和stk称之为一条条带，计算出条带的高度和最后，将R和T的每一条条带按顺序建立映射maprk→tk；所述在方向大约一致约束关系和层次结构的K‑d树基础上设计出快速匹配算法，首先在层次结构的K‑d树上，根据查询来自参考特征点集特征点的所属条带，由条带映射maprk→tk找到其目标条带，即目标特征点集，然后在root_list中找到相应的树，最后在查询到的树上进行最近邻和次近邻的搜素。...

【技术特征摘要】
1.一种立体图像特征匹配方法，其特征在于：首先定义方向大约一致约束关系，然后根
据此约束关系对标准的K-d树进行改进，构建一种更高效的搜索树结构，即层次结构的K-d
树，最后在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法；
所述定义方向大约一致约束关系，是根据单个物体或场景的各个局部位置间的相对顺
序性，引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系，整个定义过
程为：首先定义参考图像和目标图像的特征点集，两个特征点集间的匹配点对和匹配线；然
后在匹配点对的基础上定义匹配特征向量及匹配特征向量集；最后定义方向大约一致约
束；
所述构建层次结构的K-d树，整个构建过程为：针对需要进行特征匹配的立体图像对，
提取立体图像的特征点集R和T，分别取最顶端和最底端的匹配特征向量ltop和lbottom；然后
根据匹配特征向量ltop和lbottom在特征集R中的特征点rtop和rbottom的纵坐标和无仿
射变换条件下将R和T均匀地分成H层，每一层srk和stk称之为一条条带，计算出条带的高度

【专利技术属性】
技术研发人员：袁志勇，张贵安，童倩倩，袁田琛，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42