城市地区和室内高精度视觉定位系统及方法技术方案

一种城市地区和室内高精度视觉定位系统及方法，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；根据显著特征信息，在数字三维模型的特征信息库中进行相似度识别与匹配；根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。本发明专利技术能够保证在周围环境发生变化时提供稳健的可持续定位能力。

【技术实现步骤摘要】

本专利技术涉及城市地区和室内导航定位
，具体涉及一种通过用户视觉传感器采集图像信息和提取特征，并通过利用与三维模型的特征匹配构建相机交会的立体几何映射，在城市峡谷和室内提供厘米级的高精度定位技术，为将来无人驾驶和室内定位提供有效的技术支撑。
技术介绍
当今社会，人们对导航定位信息的需求日益增长。随着科学技术的飞速发展，以GNSS(GlobalNavigationSatelliteSystem,全球导航卫星系统)为代表的天基定位系统时刻为全球用户提供全天候、低成本的定位、导航与授时服务。然而，天基定位系统在城市地区和室内面临着越来越多的环境限制。例如在城市中心商业区，由于高层建筑对射频信号的遮挡和多路径干扰等现象的存在，用户设备无法连续跟踪卫星信号，导致定位结果出现等待时间长、精度低、连续性差等问题，严重时甚至无法定位。在室内环境中，多数情况下GNSS信号会因受建筑物的完全遮挡而无法用于定位。为了改善天基定位系统在城市地区的定位性能，提高整体导航定位结果的可靠性和连续性，辅助GNSS(A－GNSS)应运而生并将地面蜂窝网络和天基定位系统进行融合。A－GNSS虽然能够提高天基卫星信号的搜索效率、缩短首次定位时间并在一定程度上减少定位移动终端的功耗，然而对定位精度并无本质优化。随着城市数字化和信息化进程的不断深入，数字城市乃至智慧城市逐渐成为未来城市发展的方向，并借助物联网、传感器网等构建全新的城市形态。研究人员已开始将Wi-Fi接入点AP或蓝牙等无线传感器用作定位源，借助指纹匹配定位原理实现城市和室内环境下的无缝定位。以Wi-Fi为例，其AP接入点在城市范围大量存在，虽然系统易于搭建，应用范围广泛，然而信号覆盖范围有限，指纹库搭建阶段需耗费大量劳力，信号易受射频干扰，定位精度和定位结果稳定性差，功耗也较高。此外，当城市建筑物结构发生改变或对AP接入点进行更换时，整个定位系统面临失效的风险。随着无人车、虚拟现实、增强现实和混合现实等技术的发展，在城市峡谷地区和室内环境提供厘米级高精度定位服务在不远的将来将成为大众需求。由于这些定位环境的复杂性，上述诸类定位技术难以满足用户对精度、可靠性、连续性的要求。高端同步定位与制图系统(SimultaneousLocationandMapping)能提供高精度、高可靠性定位技术，但其昂贵的硬件成本是实现大众普及的最大障碍。
技术实现思路
有鉴于此，本专利技术旨在提供一种针对城市地区和室内应用的高精度无缝定位方法，利用用户终端视觉传感器(如相机、录像机、智能手机等)采集周围场景图像信息，在不改造现有网络基础设施和用户终端传感器的前提下，实现厘米级实时定位。本专利技术提供一种城市地区和室内高精度视觉定位系统，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。而且，定位环境包括室内及室外环境；动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机；而且，所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。而且，若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。而且，数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。而且，用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。而且，用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。而且，所述图像特征计算子单元所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。而且，所述图像特征匹配子单元，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。而且，图像特征匹配子单元通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。而且，所述相机交会计算子单元包括错误特征匹配剔除和定位求解，所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。而且，所述相机交会计算子单元还包括滤波器，用于对定位结果进行进一步滤波和优化处理。而且，所述相机交会计算子单元将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。而且，所述特征库及三维模型更新子单元，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。本专利技术相应提供一种城市地区和室内高精度视觉定位方法，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算过程、图像特征匹配过程、相机交会计算过程、特征库及三维模型更新过程；其中，图像特征计算过程，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；图像特征匹配过程，用于根据由所述图像特征计算过程所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；相机交会计算过程，用于根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；特征库及三维模型更新过程，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。而且本文档来自技高网...

【技术保护点】
一种城市地区和室内高精度视觉定位系统，其特征在于：用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。

【技术特征摘要】
1.一种城市地区和室内高精度视觉定位系统，其特征在于：用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。2.如权利要求1所述的城市地区和室内高精度视觉定位系统，其特征在于：定位环境包括室内及室外环境；动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机。3.如权利要求2所述的城市地区和室内高精度视觉定位系统，其特征在于：所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。4.如权利要求2所述的城市地区和室内高精度视觉定位系统，其特征在于：若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。5.如权利要求1所述的城市地区和室内高精度视觉定位系统，其特征在于：数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。6.如权利要求5所述的城市地区和室内高精度视觉定位系统，其特征在于：用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。7.如权利要求6所述的城市地区和室内高精度视觉定位系统，其特征在于：用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。8.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位系统，其特征在于：所述图像特征计算子单元所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。9.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位系统，其特征在于：所述图像特征匹配子单元，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。10.如权利要求9所述的城市地区和室内高精度视觉定位系统，其特征在于：图像特征匹配子单元通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。11.如权利要求9所述的城市地区和室内高精度视觉定位系统，其特征在于：所述相机交会计算子单元包括错误特征匹配剔除和定位求解，所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。12.如权利要求9所述的城市地区和室内高精度视觉定位系统，其特征在于：所述相机交会计算子单元还包括滤波器，用于对定位结果进行进一步滤波和优化处理。13.如权利要求9所述的城市地区和室内高精度视觉定位系统，其特征在于：所述相机交会计算子单元将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。14.如权利要求1或2或3或4或5或6或7所述的城市地区和室内高精度视觉定位系统，其特征在于：所述特征库及三维模型更新子单元，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。15.一种城市地区和室...

【专利技术属性】
技术研发人员：陈锐志，褚天行，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42