本发明专利技术公开了一种基于SURF的特征点匹配及筛选方法和装置，旨在解决基于视觉标签的机器人定位系统中，少量错误的特征点匹配导致定位结果有较大误差的问题；首先使用YOLO对待匹配图像进行识别，若出现视觉标签模板，对其进行裁剪，然后对标准图像模板和待匹配图像提取SURF特征点和特征向量，之后使用k最邻近匹配进行SURF特征点匹配，最后使用局部邻域约束方法，通过比对匹配点对与周围特征点的空间结构进行特征点筛选，得到正确无误的匹配点对，从而大大降低特征点匹配错误的几率，切具有良好的精确性和稳定性；结合已知的标签位置信息、相机参数，使用Perspective‑n‑Point方法可以完成机器人位姿的解算。
【技术实现步骤摘要】
本专利技术属于机器人定位导航领域，具体涉及一种基于surf的特征点匹配及筛选方法和装置。
技术介绍
1、室内服务型机器人的发展方兴未艾，实现自主定位导航是其最重要的功能之一。相比于室外自动驾驶等其他场景，室内服务型机器人要求定位系统成本不宜过高，为降低用户负担，不选用多线激光雷达、高精度惯性测量单元等定位设备，对算力要求高的深度学习解决方案也难以适用。结合实际情况常使用视觉特征进行机器人感知，在视觉标签定位等算法当中，最关键的步骤就是进行视觉特征点匹配，特征点匹配的准确性直接影响了定位的精度和稳定性。
2、目前主流的基础特征检测和匹配算法包括基于orb、sift、surf(speeded-uprobust features，加速稳健特征)算子的特征匹配及各种改进算法，这些算法可以很好的识别出图像特征点，并进行粗匹配；然而由于图像匹配时仅考虑了特征点、特征向量的相似性，而未考虑特征点的相对位置，常出现匹配偏差过大的情形，这对位姿的求解是致命的。在对错误匹配进行筛选时，通常使用sansac方法，这类随机抽样一致性算法，对于明显的离群值有较好的效果，但是对空间距离相近的错误匹配没有效果，且该类算法的效果依赖于初始值的设定，稳定性不高。此外，由于标签所处的环境可能很复杂，直接匹配可能会将环境中的其他特征和模板带入匹配。
技术实现思路
1、为解决现有技术的不足，实现特征点匹配和筛选的效率和准确性，从而提升后续定位导航中位姿结算准确性的目的，本专利技术采用如下的技术方案：
<
p>2、一种基于surf的特征点匹配及筛选方法，包括如下步骤：3、步骤1：特征点检测；对待匹配图像和标准图像模板分别进行视觉标签识别，基于识别的视觉标签，进行图像的surf特征点提取，得到待匹配特征点和目标特征点；
4、具体地，从视觉传感器的视频流中提取图像，先使用yolo对带图像进行识别，如果识别到了视觉标签或者标准模板对其进行裁剪，然后分别提取图像模板和带匹配图像的surf特征；
5、步骤2：特征点匹配；基于待匹配特征点与目标特征点间的距离，计算并找到匹配的特征点对；
6、具体地，使用k最近邻算法对特征点进行匹配，通过特征向量欧氏距离进行比较，对每一个特征点返回2个在目标图片中与之最匹配的点，并通过某种方法选出匹配点对；
7、步骤3：匹配点对筛选；相邻的特征点形成领域空间结构，基于匹配点对邻域空间结构的相似性，筛选匹配点对。
8、进一步地，所述步骤1包括如下步骤：
9、步骤1.1：训练神经网络，用于识别待匹配图像和标准图像模板的视觉标签；
10、采集标准模板的图像数据并进行标注或者使用已有的数据集，训练yolov5模型，其网络结构包括input、backbone、neck和prediction；输入端对输入网络的图像进行预处理，包括马赛克数据增强、自适应锚框计算、自适应图像尺寸缩放等；骨干网络上，使用focus、conv、c3以及spp(spatial pyramid pooling，空间金字塔池化)来进行特征提取；颈部由特征金字塔网络(featre pyramid network，fpn)和路径聚合网络(path aggregationnetwork，pan)组合构成，主要收集目标特征；预测器对输入图像进行多尺度预测，输出带有目标位置、类别和置信度信息的预测图，完成整个预测过程；
11、步骤1.2：基于视觉标签，对匹配图像和标准图像模板进行扩展裁切，由于特征点的选取要和周围像素点进行比较这就导致图像边界附近不可能产生特征点，相当于浪费了部分图像信息，所以在裁剪图片的时候，如果不超过原图边界，把裁剪图片的上下左右边界进行扩展5％-10％，这样有效利用全部图像信息；
12、步骤1.3：对裁切后的图像进行特征提取，为像素点构建hessian矩阵，得到图像在空间尺度上某一点的矩阵图像，通过像素值与其周围点进行比较，基于局部极值判定该像素点为特征点，再通过阈值筛选，得到特征性最强的特征点。
13、进一步地，所述步骤1.3中，对于图像中的任意一个像素点p(x,y)，在尺度σ上构建hessian矩阵h(x,σ)
14、
15、其中，lxx(x,σ)，lxy(x,σ)，lyy(x,σ)表示高斯滤波后图像g(σ)在各个方向的二阶偏导数其中高斯滤波函数定义为：
16、
17、hessian矩阵的行列式的值为：det(h)＝lxxlyy-lxy2。
18、进一步地，由于高斯滤波器在实际操作中需要离散化，且图像的细节随着尺度σ的增加逐渐被过滤，可以通过使用盒式滤波器来近似地处理二阶高斯滤波器，从而大大提高了卷积的计算速度。
19、进一步地，为了实现旋转不变性，在一个特征点半径为6σ的邻域内，统计每个点集的水平和垂直haar特征波，然后使用角度为π/3以特征点为中心，按一定间隔扫描整个圆形区域，最终得到每个角度区域的扇形区域，包括图像点的haar小波响应的矢量和，选择最长向量的方向作为特征点的主要方向；根据特征点的位置和方向，创建特征向量，用于表示该特征点与其他相关值之间的关系，一般来说，当一个特征值更加凸起时，它所代表的梯度值也会更加强烈，其特征也更为明显。
20、进一步地，所述步骤2中，通过使用k最近邻算法对特征点进行匹配，包括如下步骤：
21、步骤2.1：对每一个待匹配点计算并返回2个目标图像中与其特征向量欧氏距离最小的点，即两个最匹配的点；
22、步骤2.2：若dnt/dsnt<t时，则最近的欧氏距离对应的两个特征向量对应的特征点相互匹配，dnt表示最近欧氏距离，dsnt表示第二近的欧氏距离，参数t为经验值，一般取0.3-0.6，t范围越大匹配到的特征点数量越多，匹配的可靠性越低。
23、进一步地，所述步骤3包括如下步骤：
24、步骤3.1：判断匹配到特征点的数量，若大于等于数量阈值，则进入步骤3.2；
25、步骤3.2：选取n个点构成空间结构，当错误点比例不高时，三个点构成的空间结构就可以进行有效的错误剔除，对于每一个待筛选的匹配结果，分别在两张图像中查询距离该特征点距离最近和距离第二近的匹配特征点为a1、a2和b1、b2，并记录相应点到待筛选点的距离为da1、da2，db1、db2；在筛选时进行判断，若同时满足a1＝b1、a2＝b2，即距离待筛选点最近和第二近的分别是同一个点，且在阈值ω下满足即认为待筛选点到两参考点的相对距离相近，则认为三个点构成的空间结构相同，认为该点对匹配正确。
26、一种基于surf的特征点匹配及筛选装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的一种基于surf的特征点匹配及筛选方法。
27、本专利技术的优势和有益效果在于：
28、本专利技术通本文档来自技高网
...
【技术保护点】
1.一种基于SURF的特征点匹配及筛选方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：所述步骤1包括如下步骤：
3.根据权利要求1所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：所述步骤1.3中，对于图像中的任意一个像素点P(x,y)，在尺度σ上构建Hessian矩阵H(x,σ)
4.根据权利要求3所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：通过使用盒式滤波器来近似地处理二阶高斯滤波器。
5.根据权利要求3所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：在一个特征点半径为6σ的邻域内，统计每个点集的水平和垂直haar特征波，然后使用角度为π/3以特征点为中心，按一定间隔扫描整个圆形区域，最终得到每个角度区域的扇形区域，包括图像点的Haar小波响应的矢量和，选择最长向量的方向作为特征点的方向；根据特征点的位置和方向，创建特征向量，用于表示该特征点与其他相关值之间的关系。
6.根据权利要求1所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：所述步骤2中，通过使用K最近邻算法对特征点进行匹配，包括如下步骤：
7.根据权利要求1所述的一种基于SURF的特征点匹配及筛选方法，其特征在于：所述步骤3包括如下步骤：
8.一种基于SURF的特征点匹配及筛选装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的一种基于SURF的特征点匹配及筛选方法。
...
【技术特征摘要】
1.一种基于surf的特征点匹配及筛选方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于surf的特征点匹配及筛选方法，其特征在于：所述步骤1包括如下步骤：
3.根据权利要求1所述的一种基于surf的特征点匹配及筛选方法，其特征在于：所述步骤1.3中，对于图像中的任意一个像素点p(x,y)，在尺度σ上构建hessian矩阵h(x,σ)
4.根据权利要求3所述的一种基于surf的特征点匹配及筛选方法，其特征在于：通过使用盒式滤波器来近似地处理二阶高斯滤波器。
5.根据权利要求3所述的一种基于surf的特征点匹配及筛选方法，其特征在于：在一个特征点半径为6σ的邻域内，统计每个点集的水平和垂直haar特征波，然后使用角度为π/3以特征点为中心，按一定间隔扫...
【专利技术属性】
技术研发人员：张建明，毛岳峰，朱科，朱骞，
申请(专利权)人：余姚市机器人研究中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。