视觉定位特征提取和匹配方法及装置制造方法及图纸

本发明专利技术公开了一种视觉定位特征提取和匹配方法及装置，其中，方法包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对外部图像和内部图像提取基于构造虚拟视图的特征；根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据匹配点集合得到最优位姿矩阵。该方法可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

【技术实现步骤摘要】
视觉定位特征提取和匹配方法及装置
本专利技术涉及图像处理
，特别涉及一种视觉定位特征提取和匹配方法及装置。
技术介绍
室外车辆在自然场景的视觉定位中，可以采用车辆内部地图与车辆外部环境匹配定位的方法。但外部环境受季节和光照条件的变化影响较大，如道路两侧树木的枯荣变化，清晨和正午时的光照剧烈变化等，而且这些变化造成的外部环境差异，会影响车辆内部地图与外部环境间的匹配效果，造成视觉定位系统的成功率下降，或者定位误差变大。相关技术中，通常采用针对场景类型对车辆外部环境提取相应的特征点，如SIFT(Scale-invariantfeaturetransform，旋转不变性特征)，快速旋转特征(ORB)等，特征构成外部场景地图。而后将内部地图与外部地图间进行特征点匹配。然而，由于自然场景中，行道树等构成了车辆行进过程中可以看到的主要视野，其枯荣变化前后差异巨大，基于相关技术中的方法的难以将不同季节的内外部地图进行特征点匹配，而且类似挑战同样发生在光照条件剧烈变化的情况下，亟待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种视觉定位特征提取和匹配方法，该方法可以有效地解决季节和光照对视觉定位系统的影响，简单便捷。本专利技术的另一个目的在于提出一种视觉定位特征提取和匹配装置。为达到上述目的，本专利技术一方面实施例提出了一种视觉定位特征提取和匹配方法，包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据所述匹配点集合得到最优位姿矩阵。本专利技术实施例的视觉定位特征提取和匹配方法，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。另外，根据本专利技术上述实施例的视觉定位特征提取和匹配方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：采集光照和/或季节不同的所述外部图像和所述内部图像；对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。进一步地，在本专利技术的一个实施例中，所述通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。进一步地，在本专利技术的一个实施例中，所述分别对所述外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。进一步地，在本专利技术的一个实施例中，所述根据所述匹配点集合得到最优位姿矩阵，进一步包括：根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。为达到上述目的，本专利技术另一方面实施例提出了一种视觉定位特征提取和匹配装置，包括：获取模块，用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；提取模块，用于分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；匹配模块，用于根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；优化模块，用于根据所述匹配点集合得到最优位姿矩阵。本专利技术实施例的视觉定位特征提取和匹配装置，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。另外，根据本专利技术上述实施例的视觉定位特征提取和匹配装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：采集模块，用于采集光照和/或季节不同的所述外部图像和所述内部图像；处理模块，用于对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。进一步地，在本专利技术的一个实施例中，所述获取模块进一步用于提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。进一步地，在本专利技术的一个实施例中，所述提取模块包括：扫描单元，用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；检测单元，用于在所有的虚拟视图上检测协变特征及其描述子；投影单元，用于将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。进一步地，在本专利技术的一个实施例中，所述优化模块进一步用于根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的视觉定位特征提取和匹配方法的流程图；图2为根据本专利技术一个实施例的视觉定位特征提取和匹配方法的流程图；图3为根据本专利技术实施例的视觉定位特征提取和匹配装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的视觉定位特征提取和匹配方法及装置，首先将参照附图描述根据本专利技术实施例提出的视觉定位特征提取和匹配。图1是本专利技术实施例的视觉定位特征提取和匹配方法的流程图。如图1所示，该觉定位特征提取和匹配方法包括以下步骤：在步骤S101中，获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域。其中，在本专利技术的一个实施例中，还包括：采集光照和/或季节不同的外部图像和内部图像；对外部图像和内部图像进行预处理，并设定算法参数，以提供输入信息。需要说明的是，如图2所示，在步骤S2之前，本专利技术实施例还可以包括步骤S1，即图像预处理和参数设定。具体地，输入两张光照或季节差异较大的图像I1和I2，将其图像大小、格式等调整为可用的模式，并设定重要的算法参数，如最小匹配数量，算法迭代次数等。输出为两张图的对应匹配点以及基础矩阵F，本征矩阵E或单应矩阵H，并进一步求出两张图的相对姿态完成定位。这三个矩阵分别适用于不同的场景，如E适用于相机参数已知的情况。H适用于对应匹配点存在于同一个场景平面的情况，从而提供定位以有效的输入信息。进一步地，在本专利技术的一个实施例中，通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取兴趣区域。具体地，如本文档来自技高网...

【技术保护点】
1.一种视觉定位特征提取和匹配方法，其特征在于，包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；以及根据所述匹配点集合得到最优位姿矩阵。

【技术特征摘要】
1.一种视觉定位特征提取和匹配方法，其特征在于，包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；以及根据所述匹配点集合得到最优位姿矩阵。2.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，还包括：采集光照和/或季节不同的所述外部图像和所述内部图像；对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。3.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，所述通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。4.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，所述分别对所述外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。5.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，所述根据所述匹配点集合得到最优位姿矩阵，进一步包括：根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。6.一...

【专利技术属性】
技术研发人员：周杰，邓磊，于恒，陈宝华，吴垚垚，李健，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11