视觉定位方法及装置制造方法及图纸

本发明专利技术实施例提供一种视觉定位方法及装置，该方法包括：获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像；获取第二时刻场景的相机图像；对投影图像和相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集；根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位姿，获取第二时刻的相机位姿。该方法具有较高的精度，通过低成本、高普及度的相机实现，能够有效降低视觉定位装置的成本。通过使用相机为传感器，在不增加传感器的条件下能开发更多应用，具有较强的拓展性。最后，由于目前相机模块的高集成度，从而能够实现定位装置的轻量化、小型化。

Visual positioning method and device

【技术实现步骤摘要】
视觉定位方法及装置
本专利技术实施例涉及计算机视觉领域，尤其涉及一种视觉定位方法及装置。
技术介绍
视觉定位已在各个领域得到广泛应用，例如工业机器人、服务机器人、无人驾驶等等。以机器人为例，为了了解机器人的工作情况，需要对机器人进行实时定位，从而获取机器人的行走路线以及所在位置。目前，精度较高的视觉定位法是使用多线激光雷达，并通过已建立的三维点云地图进行定位。先根据三维激光扫描仪获取三维点云地图，而后利用三维点云的空间信息，与多线激光雷达传感器数据进行匹配定位，在激光雷达的运动过程中不断重复计算每一时刻与上一时刻的位置偏差，从而根据这些位置偏差和上一时刻的位置信息更新当前的位置姿态信息。多线激光雷达价格较为昂贵，价格从几万到百万不等，从而难以普及应用。若需在产品上部署定位功能，必须将多线激光雷达安装部署在设备上，比如现在热门的无人车和一些机器人设备。然而，多线激光雷达大多都在10cm*10cm*10cm以上，由于体积较大，只能部署在体积更大的平台上，难以实现较高的集成度。另外，激光雷达的数据比较单一，只有空间距离信息，拓展性不强。若需要如图像检测，图像识别等应用，必须再安装额外的摄像头传感器。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种视觉定位方法及装置。第一方面，本专利技术实施例提供一种视觉定位方法，包括：获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像；获取第二时刻场景的相机图像；对所述投影图像和所述相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集；根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位姿，获取第二时刻的相机位姿。第二方面，本专利技术实施例提供一种视觉定位装置，包括：投影模块，用于获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像；相机模块，用于获取第二时刻场景的相机图像；匹配模块，用于对所述投影图像和所述相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集；处理模块，用于根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位姿，获取第二时刻的相机位姿。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本专利技术第一方面视觉定位方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术第一方面视觉定位方法的步骤。本专利技术实施例提供的视觉定位方法及装置，通过获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像和获取第二时刻场景的相机图像，而后获得投影图像和相机图像经特征匹配后在像素坐标的匹配点集，从而获取相机的位姿变化量，具有较高的精度。另外，通过低成本、高普及度的相机实现，能够有效降低视觉定位装置的成本。同时，通过使用相机为传感器，在定位的同时能够将图像信息作为其它功能的输入，如图像信息可以作为图像检测、识别等应用的输入，在不增加传感器的条件下能开发更多应用，具有较强的拓展性。最后，由于目前相机模块的高集成度，从而能够实现定位装置的轻量化、小型化。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的视觉定位方法流程图；图2为本专利技术实施例提供的视觉定位装置结构图；图3为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，精度较高的视觉定位法是使用多线激光雷达实现。但是多线激光雷达价格较为昂贵、体积较大且拓展性不强。为解决这一问题，本专利技术实施例提供一种视觉定位方法。该方法可应用于上述机器人的使用场景下，例如工厂使用机器人进行生产的场景、变电站巡检机器人场景等。该方法中的相机为能够实现相机功能的模块，并不限于传统相机，该方法对应的执行主体为带有相机模块的定位装置，通过在待定位对象上安装该装置实现待定位对象的定位。图1为本专利技术实施例提供的视觉定位方法流程图，如图1所示，本专利技术实施例提供一种视觉定位方法，包括：101，获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像。在101中，应用环境为待定位对象应用场景的环境，例如工厂机器人的应用环境就是机器人活动范围对应的厂区。RGB三维点云与一般三维点云不同在于，RGB三维点云在原来的基础上对点云添加了色彩信息。在本专利技术实施例中，RGB三维点云地图已经获得，部分城市已开始推广建设城市RGB点云地图，或者通过移动式SLAM(SimultaneousLocalizationandMapping,同步定位与建图)建图等方法获得。相机初始时刻的位姿(即位置和姿态)是已知的，初始位置姿态是一个六维向量，即三维空间的坐标x,y,z,以及相机在x,y,z轴上的角度信息。在此基础上，第一时刻可以为初始时刻，若第一时刻不是初始时刻，则其位姿信息是根据本专利技术实施例的方法由初始位姿迭代得到后，作为已知信息。由于待定位对象的运动，第一时刻和第二时刻处于不同位置，本专利技术实施例根据第一时刻的位姿获得第二时刻的位姿。具体地，第一时刻下，将RGB三维点云地图对相机成像平面进行投影，得到投影图像，投影图像中的每一像素点和RGB三维点云的色彩相对应，投影图像具有第一时刻位位置的RGB三维点云的特征。102，获取第二时刻场景的相机图像。在102中，相机随待定位对象移动至第二时刻的场景下，获取在第二时刻场景下相机视野中的相机图像，即第二时刻的真实场景图像。103，对投影图像和相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集。在103中，分别对相机图像及RGB点云的投影图像进行图像特征匹配，提取两个图像的关键特征点。图像特征匹配是从两幅或多幅图像找到同名特征的过程。以特征点为例，同名特征意思是指这些特征点所对应的成像场景中的3D点是同一个点，比如对应的都是建筑物的某个特定的棱角点。图像特征匹配可通过图像处理技术中的SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)、SURF(SpeededUpRobustFeatures，加速稳健特征)、ORB(OrientedFASTandRotatedBRIEF)以及KAZE等方法进行，从而提取图像的关键特征点，进而获得两幅图像各自在2D像素坐标的匹配点集，两幅图像的2D-2D匹配点集用于后续进行求解第二时刻的位置姿态。104，根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位本文档来自技高网...

【技术保护点】
1.一种视觉定位方法，其特征在于，包括：获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像；获取第二时刻场景的相机图像；对所述投影图像和所述相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集；根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位姿，获取第二时刻的相机位姿。

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像；获取第二时刻场景的相机图像；对所述投影图像和所述相机图像进行图像特征匹配，获得投影图像和相机图像在像素坐标的匹配点集；根据投影图像和相机图像在像素坐标的匹配点集，获取相机的位姿变化量，结合已知的第一时刻的相机位姿，获取第二时刻的相机位姿。2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像之前，还包括：通过三维激光扫描获取应用环境的每一位置点的三维点云，并结合相机在每一位置点对获取的三维点云进行实时着色，获得每一位置点具有RGB信息的三维点云；结合所有位置点获得的具有RGB信息的三维点云，获得应用环境的RGB三维点云地图。3.根据权利要求1所述的方法，其特征在于，所述获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像之前，还包括：根据预设的初始相机位姿，获取初始时刻下，应用环境的RGB三维点云地图在相机成像平面上的初始投影图像；获取初始时刻场景的初始相机图像；对所述初始投影图像和所述初始相机图像进行图像特征匹配，获得初始投影图像和初始相机图像在像素坐标的匹配点集；根据初始投影图像和初始相机图像在像素坐标的匹配点集，获取初始相机位姿的预设误差，结合预设的初始相机位姿，获取真实的初始相机位姿。4.根据权利要求1所述的方法，其特征在于，所述获取第一时刻下，应用环境的RGB三维点云地图在相机成像平面上的投影图像，包括：根据光线投射法，将相机成像平面的每一像素点与RGB三维点云地...

【专利技术属性】
技术研发人员：王毓玮，刘洋，华仁红，尚云，冯卓玉，
申请(专利权)人：北京易达图灵科技有限公司，
类型：发明
国别省市：北京,11