多摄像头视觉定位方法、系统、电子装置及介质制造方法及图纸

本发明专利技术公开了多摄像头视觉定位方法、电子装置及介质，属于视觉定位技术领域，要解决的技术问题为如何使用多摄像头并行处理，在部分区域遮挡情况下依然能够进行视觉定位。方法包括：基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表。电子装置，包括：至少一个存储器和至少一个处理器；至少一个存储器，用于存储机器可读程序；至少一个处理器，用于调用所述机器可读程序，执行上述方法。计算机可读介质上存储有计算机指令，计算机指令在被处理器执行时，使处理器执行上述方法。

【技术实现步骤摘要】
多摄像头视觉定位方法、系统、电子装置及介质
本专利技术涉及视觉定位
，具体地说是多摄像头视觉定位方法、电子装置及计算机可读介质。
技术介绍
当前视觉SLAM技术以ORB_SLAM为代表已经日趋成熟。因摄像头对比激光雷达、毫米波雷达等具有天然的成本、技术基础等优势，视觉SLAM技术在自动驾驶和机器人定位中应用日趋广泛。在当前流行的视觉SLAM系统中，多针对单目摄像头、双目摄像头或深度摄像头三种传感器之一进行处理。如图1所示，在实际使用过程中，传感器出现被遮挡或视场内出现大面积相同颜色且无明显特征分布的情况下，极易导致定位失败，无法正确返回位姿。基于上述，如何使用多摄像头并行处理，在部分区域遮挡情况下依然能够进行视觉定位，是需要解决的技术问题。
技术实现思路
本专利技术的技术任务是针对以上不足，提供多摄像头视觉定位方法、电子装置及计算机可读介质，来解决如何使用多摄像头并行处理，在部分区域遮挡情况下依然能够进行视觉定位的问题。第一方面，本专利技术提供一种多摄像头视觉定位方法，基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表，所述方法包括如下步骤：对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点的关系指针获取关键点数据；按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表；基于摄像头与坐标地图中预设点的位置关系，按照单目和双目分别对关键帧数据进行坐标转换，得到对应的位置数据，并将位置数据存入对应的数据链表中；对坐标变换后的关键帧数据进行反查，得到关键点数据；按照单目和双目分别合并点云数据，并将合并后点云数据存入对应的数据链表中。作为优选，将位置数据存入对应的数据链表中之前，对位置数据进行滤波得到稳定的位置数据，并将稳定的位置数据存入对应的数据链表中。作为优选，通过卡尔曼滤波器对位置数据进行滤波。作为优选，按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表，为：对于每个单目图像，将单目关键帧数据以及单目关键点数据分别存入对应的单目关键帧数据链表和单目关键点数据链表，对于每个双目图像，将双目关键帧数据和双目关键点数据分别存入对应的双目关键帧数据链表和双目关键点数据链表。第二方面，本专利技术提供一种多摄像头视觉定位系统，用于通过第一方面任一项所述的多摄像头视觉定位方法进行视觉定位，所述系统包括：关键点提取模块，所述关键点提取模块用于对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点的关系指针获取关键点数据；数据链表模块，所述数据链表模块用于按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表；坐标转换模块，所述坐标转换模块用于基于摄像头与坐标地图中预设点的位置关系，按照单目和双目分别对关键帧数据进行坐标转换，得到对应的位置数据，并将位置数据存入对应的数据链表中；反查模块，所述反查模块用于对坐标变换后的关键帧数据进行反查，得到关键点数据；合并模块，所述合并模块用于按照单目和双目分别合并点云数据，并将合并后点云数据存入对应的数据链表中。作为优选，坐标转换模块用于将位置数据存入对应的数据链表中之前，对位置数据进行滤波得到稳定的位置数据，并将稳定的位置数据存入对应的数据链表中。作为优选，坐标转换模块用于通过卡尔曼滤波器对位置数据进行滤波。第三方面，本专利技术提供一种电子装置，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行第一方面任一所述的方法。第四方面，本专利技术提供一种介质，为计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面任一所述的方法。本专利技术的多摄像头视觉定位方法、电子装置及计算机可读介质具有以下优点：1、基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表，扩展了可用数据的有效区域，在多摄像头场景下，能够有效避免因遮挡或视场内出现大面积无特征区域导致的定位失败，使得在部分遮挡的情况下仍然能够正常工作，大幅提升室内外环境适应性；2、同时处理了多路单目和双目数据，可以更加精确的得到位姿数据；3、单目数据的距离信息均基于摄像头参数估算得到，相较双目数据通过双目视差计算得到的距离结果具有更大的误差，将单目和双目分开存储则避免了单目数据对于精确的双目数据的影响.附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。下面结合附图对本专利技术进一步说明。图1为ORB_SLAM双目摄像头有效区域示意图；图2为实施例1多摄像头视觉定位方法的流程框图；图3为实施例1多摄像头视觉定位方法中双目摄像头有效区域示意图；图4为实施例1多摄像头视觉定位方法中六个摄像头数据处理方式示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定，在不冲突的情况下，本专利技术实施例以及实施例中的技术特征可以相互结合。需要理解的是，在本专利技术实施例中的“多个”，是指两个或两个以上。本专利技术实施例提供多摄像头视觉定位方法、电子装置及计算机可读介质，用于解决如何使用多摄像头并行处理，在部分区域遮挡情况下依然能够进行视觉定位的技术问题。实施例1：本专利技术的一种多摄像头视觉定位方法，基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表。如图2所示，该方法包括如下步骤：S100、对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点的关系指针获取关键点数据；S200、按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表；S300、基于摄像头与坐标地图中预设点的位置关系，按照单目和双目分别对关键帧数据进行坐标转换，得到对应的位置数据，并将位置数据存入对应的数据链表中；S400、对坐标变换后的关键帧数据进行反查，得到关键点数据；S500、按照单目和双目分别合并点云数据，并将合并后点云数据存入对应的数据链表中。在本实施例中，按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表，为：对于每个单目图像，将单目关键帧数据本文档来自技高网...

【技术保护点】
1.多摄像头视觉定位方法，其特征在于基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表，所述方法包括如下步骤：/n对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点的关系指针获取关键点数据；/n按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表；/n基于摄像头与坐标地图中预设点的位置关系，按照单目和双目分别对关键帧数据进行坐标转换，得到对应的位置数据，并将位置数据存入对应的数据链表中；/n对坐标变换后的关键帧数据进行反查，得到关键点数据；/n按照单目和双目分别合并点云数据，并将合并后点云数据存入对应的数据链表中。/n

【技术特征摘要】
1.多摄像头视觉定位方法，其特征在于基于ORB_SLAM2算法，同时按照单目和双目进行特征点识别、追踪和位姿计算，并按照单目和双目将相关数据分别存入对应的数据链表，所述方法包括如下步骤：
对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点的关系指针获取关键点数据；
按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表；
基于摄像头与坐标地图中预设点的位置关系，按照单目和双目分别对关键帧数据进行坐标转换，得到对应的位置数据，并将位置数据存入对应的数据链表中；
对坐标变换后的关键帧数据进行反查，得到关键点数据；
按照单目和双目分别合并点云数据，并将合并后点云数据存入对应的数据链表中。


2.根据权利要求1所述的多摄像头视觉定位方法，其特征在于将位置数据存入对应的数据链表中之前，对位置数据进行滤波得到稳定的位置数据，并将稳定的位置数据存入对应的数据链表中。


3.根据权利要求2所述的多摄像头视觉定位方法，其特征在于通过卡尔曼滤波器对位置数据进行滤波。


4.根据权利要求1、2或3所述的多摄像头视觉定位方法，其特征在于按照单目和双目将关键帧数据和关键点数据分别存入对应的数据链表，为：
对于每个单目图像，将单目关键帧数据以及单目关键点数据分别存入对应的单目关键帧数据链表和单目关键点数据链表，对于每个双目图像，将双目关键帧数据和双目关键点数据分别存入对应的双目关键帧数据链表和双目关键点数据链表。


5.多摄像头视觉定位系统，其特征在于用于通过如权利要求1-4任一项所述的多摄像头视觉定位方法进行视觉定位，所述系统包括：
关键点提取模块，所述关键点提取模块用于对于单目图像和双目图像，基于ORB特征点识别算法和追踪算法提取关键帧数据，并通过关键帧和关键点...

【专利技术属性】
技术研发人员：张雁鹏，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37