基于分类全局能量约束的立体影像特征匹配方法以及装置制造方法及图纸

本申请实施例提供一种基于分类全局能量约束的立体影像特征匹配方法以及装置，所述基于分类全局能量约束的立体影像特征匹配方法包括：将基准影像上的特征点划分为基准目标特征点集和基准背景特征点集，并将待匹配影像上的特征点划分为待匹配目标特征点集和待匹配背景特征点集；将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配，并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配，以获取立体影像的特征匹配结果。本申请的一些实施例将立体像对上的特征点划分为目标点集和背景点集，在特征点匹配时将目标点集仅与目标点集进行匹配，能有效减少同名点的搜索范围，剔除匹配粗差，提高匹配的效率、可靠性和稳定性。可靠性和稳定性。可靠性和稳定性。

【技术实现步骤摘要】
基于分类全局能量约束的立体影像特征匹配方法以及装置


[0001]本申请涉及特征匹配领域，具体而言本申请实施例涉及一种基于分类全局能量约束的立体影像特征匹配方法及装置。

技术介绍

[0002]通过获取关于目标对象的多视立体影像，是进行目标对象三维重建的重要方法。为了精确复原目标对象的三维结合结构，对多视立体影像进行高精度的特征匹配是其中的关键技术环节。获取数量充足、分布均匀且精度可靠的特征点对，是区域网整体平差解算相机成像瞬时精确位置和姿态的前提条件。影像特征匹配能够为影像三维重建奠定坚实基础，可广泛应用于大规模地形地貌、城市建筑群、室内外各类复杂结构物体以及微小目标的三维复原工作。
[0003]传统的立体影像特征匹配算法均仅考虑立体影像同名点之间的特征相似性，将满足局部像方最大一致性约束的特征点作为同名点。如最经典和常用的SIFT算法(尺度不变特征变换算法Scale Invariant Feature Transform)、SURF算法(加速健壮特征算法Speeded Up Robust Feature)和ZNCC算法(零均值归一化互相关系数算法Zero
‑
mean Normalized Cross
‑
Correlation)等。但由于匹配的歧义性(复杂目标对象表面的重复纹理、弱纹理、同谱异物和噪声等)，导致特征最相似的同名点不一定是正确的匹配点，在匹配精度、效率和可靠性上存在不足。

技术实现思路

[0004]本申请实施例的目的在于提供一种影像特征匹配的方法及装置，通过本申请实施例的方法和装置可以将目标点集仅与目标点集进行匹配，背景点集仅与背景点集进行匹配，从而能有效减少同名点的搜索范围。
[0005]第一方面，本申请的一些实施例提供一种影像特征匹配的方法，所述方法包括：将基准影像上的特征点划分为基准目标特征点集和基准背景特征点集，并将待匹配影像上的特征点划分为待匹配目标特征点集和待匹配背景特征点集；将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配，并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配，以获取立体影像的特征匹配结果。
[0006]本申请的一些实施例将立体像对上的特征点划分为两个点集：即目标点集和背景点集，在特征点匹配时将目标点集仅与目标点集进行匹配，背景点集仅与背景点集进行匹配，从而能有效减少同名点的搜索范围。
[0007]在一些实施例中，所述将基准影像上的特征点划分为基准目标特征点集和基准背景特征点集，包括：在基准影像上提取特征点，并对所述基准影像进行语义分割得到语义分割结果；根据所述语义分割结果，将所述基准影像上的特征点分为所述基准目标特征点集和所述基准背景特征点集。
[0008]在一些实施例中，所述将待匹配影像上的特征点划分为待匹配目标特征点集和待
匹配背景特征点集，包括：在待匹配影像上提取特征点，并对所述待匹配影像进行语义分割得到语义分割结果；根据所述语义分割结果，将所述待匹配影像上的特征点划分为所述待匹配目标特征点集和所述待匹配背景特征点集。
[0009]在一些实施例中，所述将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配，还包括：在所述基准影像上，分别构建所述基准目标特征点集和所述基准背景特征点集的无向图，其中，所述无向图用于表征特征点的位置以及特征点之间的连接关系；根据所述无向图中的数据，构建全局能量函数，并求解能量函数的最优解分别得到所述特征匹配结果。
[0010]在本申请的一些实施例中，在所述将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配之后，所述方法还包括：根据所述基准图像上特征点之间的拓扑关系与所述待匹配影像上的待匹配特征点之间的拓扑关系满足一致性的原则调整初始特征点匹配结果，得到所述特征匹配结果，其中，所述初始特征点匹配结果包括将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配得到的第一初始特征点匹配结果，将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配得到的第二初始特征点匹配结果。
[0011]本申请的一些实施例从特征匹配点之间的拓扑关系出发进行匹配操作，可以有效解决传统局部特征匹配算法的误匹配问题。
[0012]在本申请的一些实施例中，所述根据所述基准图像上特征点之间的拓扑关系与所述待匹配影像上的待匹配特征点之间的拓扑关系满足一致性的原则调整初始特征点匹配结果，包括：基于构建的全局能量函数根据所述原则求解最优解完成针对所述初始特征点的匹配结果的调整操作，得到所述特征匹配结果，其中，所述全局能量函数包含：目标数据项、背景数据项和平滑项，所述目标数据项用于计算所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配操作时的目标点匹配代价值，所述背景数据项用于计算所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配时的背景点匹配代价值，所述平滑项引入视差拓扑结构作为约束条件。
[0013]本申请的一些实施例通过构造全局能量函数在求解的过程得到匹配结果，引入了视差拓扑结果作为平滑项约束条件，且本申请一些实施例的全局能量函数包括的数据项与局部特征匹配算法相对应，平滑项引入对视差拓扑结构的约束，进一步提升了特征匹配的精度和鲁棒性。
[0014]在一些实施例中，所述方法还包括：获取所述基准图像和所述待匹配影像的无向图，并基于所述无向图得到所述拓扑关系，其中，所述视差拓扑结果是通过所述拓扑关系得到的。
[0015]在本申请的一些实施例中，所述全局能量函数的公式如下：
[0016][0017]其中，L
′
表示为每个特征点分配的label集合，p表示所述基准影像上特征点集合V
中的一个特征点，l表示label且满足l∈L，l
p
表示特征点p的label，<p,q>表示端点为p和q的边，T表示布尔逻辑运算符，P表示惩罚系数，D
x
(
·
)表示水平视差，D
y
(
·
)表示垂直视差，σ表示距离平滑因子，Cost(p，l)表示特征点p在label为l的情况下所对应的匹配代价值。
[0018]本申请的一些实施例提供了一种量化全局能量函数的算法，提升了数据处理的准确性。
[0019]在本申请的一些实施例中，所述基于构建的全局能量函数根据所述原则求解最优解完成针对所述初始特征点的匹配结果的调整操作，包括：采用局部特征匹配计算所述全局能量函数包括的数据项的代价，并根据同名点拓扑结构计算所述全局能量函数包括的平滑项的惩罚；通过贪心算法求解所述全局能量函数的最优解，得到所述特征匹配结果。
[0020]本申请的一些实施例提供了一种求解全局能量函数的最优解的过程。
[0021]在本申请的一些实施例中，所述匹配代价值是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分类全局能量约束的立体影像特征匹配方法，其特征在于，所述立体影像特征匹配方法包括：将基准影像上的特征点划分为基准目标特征点集和基准背景特征点集，并将待匹配影像上的特征点划分为待匹配目标特征点集和待匹配背景特征点集；将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配，并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配，以获取立体影像的特征匹配结果。2.如权利要求1所述的立体影像特征匹配方法，其特征在于，所述将基准影像上的特征点划分为基准目标特征点集和基准背景特征点集，包括：在所述基准影像上提取特征点，并对所述基准影像进行语义分割得到语义分割结果；根据所述语义分割结果，将所述基准影像上的特征点分为所述基准目标特征点集和所述基准背景特征点集。3.如权利要求1所述的立体影像特征匹配方法，其特征在于，所述将待匹配影像上的特征点划分为待匹配目标特征点集和待匹配背景特征点集，包括：在所述待匹配影像上提取特征点，并对所述待匹配影像进行语义分割得到语义分割结果；根据所述语义分割结果，将所述待匹配影像上的特征点划分为所述待匹配目标特征点集和所述待匹配背景特征点集。4.如权利要求3所述的立体影像特征匹配方法，其特征在于，所述将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配，还包括：在所述基准影像上，分别构建所述基准目标特征点集和所述基准背景特征点集的无向图，其中，所述无向图用于表征特征点的位置以及特征点之间的连接关系；根据所述无向图中的数据，构建全局能量函数，并求解能量函数的最优解分别得到所述特征匹配结果。5.如权利要求4所述的立体影像特征匹配方法，其特征在于，在将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配并将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配之后，所述方法还包括：根据所述基准影像上特征点之间的拓扑关系与所述待匹配影像上的待匹配特征点之间的拓扑关系满足一致性的原则调整初始特征点匹配结果，得到所述特征匹配结果，其中，所述初始特征点匹配结果包括将所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配得到的第一初始特征点匹配结果，将所述基准背景特征点集和所述待匹配背景特征点集进行特征点匹配得到的第二初始特征点匹配结果。6.如权利要求5所述的立体影像特征匹配方法，其特征在于，所述根据所述基准图像上特征点之间的拓扑关系与所述待匹配影像上的待匹配特征点之间的拓扑关系满足一致性的原则调整初始特征点匹配结果，包括：基于所述全局能量函数根据所述原则求解最优解完成针对所述初始特征点的匹配结果的调整操作，得到所述特征匹配结果，其中，所述全局能量函数包含：目标数据项、背景数据项和平滑项，所述目标数据项用于计算所述基准目标特征点集和所述待匹配目标特征点集进行特征点匹配操作时的目标点匹配代价值，所述背
景数据项用于计算所述基准背景特...

【专利技术属性】
技术研发人员：胡堃，余湛，阮军，曹峻松，逄悦，喻夏琼，
申请(专利权)人：北京智创华科半导体研究院有限公司，
类型：发明
国别省市：