【技术实现步骤摘要】
本专利技术涉及地理定位，尤其是涉及一种基于双重注意力跨视角的视觉定位方法及系统。
技术介绍
1、随着信息社会的不断发展，智能手机等设备逐渐普及，人们的日常出行基本可以依靠定位导航来实现，因此位置信息越来越受到人们的重视，现代社会对于位置信息的需求也越来越大。近年来，基于图像的地理定位技术因其在自动驾驶和增强现实领域的潜在应用而受到计算机视觉领域的广泛关注。同时，在人烟稀少、信号基站难以覆盖到的偏远山区却难以直接依靠gps进行定位导航。在没有任何先验知识的情况下，预测照片的地理位置是一项非常艰巨的任务，因为不同条件下（例如，不同的天气，物体或相机设置）拍摄的图像会呈现出巨大的变化。随着遥感卫星的不断发展，大量带有地理数据标签的图像被采集到。因此，估计拍摄图像地理位置的问题被转换为了地面视角图像与空域视角卫星图像的匹配问题，即通过匹配到的带有地理坐标的卫星图像去确定拍摄图像的地理位置。跨视角地理视觉定位为自动驾驶、增强现实领域以及无网络环境下的定位问题提供了一种辅助解决方案，因此其具有理论价值和实践意义。
技术实现思路
1、本专利技术的目的在于提高多模态图像配准的精度和稳定性，为了实现上述目的，本专利技术一方面提供了一种基于双重注意力跨视角的视觉定位方法，该方法包括如下步骤：
2、s1、对车载相机进行标定，得到标定后的车载相机；
3、s2、通过标定后的车载相机进行地面视角的数据采集，得到地面视角图像，从网络下载多张对应的带坐标卫星图像，将多张带坐标卫星图像分别使
4、s3、搭载双重注意力网络模型，采用训练集对双重注意力网络模型进行训练并通过预设的损失函数计算损失，得到训练后的双重注意力网络模型；
5、s4、从多张转换后的卫星图像中任意选取一张转换后的卫星图像，将地面视角图像和选取的转换后卫星图像输入训练后的双重注意力网络模型处理，输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量；
6、s5、计算地面视角图像和选取的转换后卫星图像各自对应的一维特征向量之间的余弦距离；
7、s6、从多张转换后的卫星图像中另外选取一张转换后的卫星图像，直到多张转换后的卫星图像均被选取，重复步骤s4和s5，将余弦距离最大时对应的卫星图像的经纬坐标作为地面视角图像的经纬度坐标，以实现地面视角图像的视觉查询定位。
8、优选地，s1中对车载相机进行标定，相机标定具体可用公式表示为：
9、；
10、式中，,分别表示每一个像素在图像物理坐标系下轴和轴上的物理尺寸，为车载相机的焦距，表示图像物理坐标系的原点，,分别表示图像像素坐标系下的尺度因子，表示3×3的旋转矩阵，表示3维平移向量，表示世界坐标系中的三维点坐标，表示世界坐标系中三维空间的点投影到二维平面的图像像素坐标系中对应点的坐标，表示相机坐标系中的轴坐标。
11、优选地，s2中将多张带坐标的卫星图像分别使用极坐标进行转换，得到多张转换后的卫星图像，极坐标转换具体可用公式表示为：
12、；
13、；
14、式中，表示下载的带坐标的卫星图像的尺寸大小，表示转换后的卫星图像的尺寸大小，表示下载的带坐标的卫星图像上图像点的坐标，表示转换后的卫星图像上图像点的坐标。
15、优选地，双重注意力网络模型包括依次连接的孪生网络、自注意力编码模块、交叉注意力编码模块以及平均池化模块，s4中将地面视角图像和选取的转换后卫星图像输入训练后的双重注意力网络模型处理，输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量，具体包括如下步骤：
16、s41、孪生网络接收地面视角图像和选取的转换后卫星图像并处理，相应输出地面视角图像和选取的转换后卫星图像各自对应的编码后特征；
17、s42、自注意力编码模块接收地面视角图像和选取的转换后卫星图像各自对应的编码后特征并分别计算编码后特征自身的相关性，得到地面视角图像和选取的转换后卫星图像各自对应的第一特征映射图；
18、s43、交叉注意力编码模块接收地面视角图像和选取的转换后卫星图像各自对应的第一特征映射图并计算第一特征映射图之间的相关性，得到地面视角图像和选取的转换后卫星图像各自对应的第二特征映射图；
19、s44、平均池化模块接收地面视角图像和选取的转换后卫星图像各自对应的第二特征映射图并分别进行平均池化，输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量。
20、优选地，孪生网络具体为修改的vgg16网络，s41中地面视角图像和选取的转换后卫星图像各自对应的编码后特征，具体可表示为：
21、；
22、；
23、式中，表示地面视角图像对应的编码后特征，表示选取的转换后卫星图像对应的编码后特征，表示修改的vgg16网络，表示地面视角图像，表示选取的转换后卫星图像。
24、优选地，自注意力编码模块包括第一自注意力模块，第一自注意力模块与孪生网络连接，第一自注意力模块包括并行连接的第一卷积层、第二卷积层和第三卷积层，s42中自注意力编码模块接收地面视角图像对应的编码后特征并计算编码后特征自身的相关性，得到地面视角图像的第一特征映射图，具体过程如下：
25、s421、将地面视角图像对应的编码后特征输入第一自注意力模块；
26、s422、第一自注意力模块的第一卷积层、第二卷积层和第三卷积层分别对地面视角图像对应的编码后特征进行处理，相应得到地面视角图像的第一特征映射、第二特征映射和第三特征映射；
27、s423、根据地面视角图像的第一特征映射和第二特征映射计算地面视角图像的自注意力权重；
28、s424、根据地面视角图像的自注意力权重和地面视角图像的第三特征映射计算地面视角图像的第一特征映射图。
29、优选地，交叉注意力编码模块包括第一交叉注意力模块和第二交叉注意力模块，第一交叉注意力模块与第一自注意力模块连接，第二交叉注意力模块和第二自注意力模块连接，s43具体过程如下：
30、s431、将地面视角图像的第一特征映射图输入第一交叉注意力模块，将选取的转换后卫星图像的第一特征映射图输入第二交叉注意力模块；
31、s432、第一交叉注意力模块和第二交叉注意力模块分别对各自接收到的第一特征映射图进行卷积处理，相应得到地面视角图像和选取的转换后卫星图像各自对应的第四特征映射、第五特征映射和第六特征映射；
32、s433、根据选取的转换后卫星图像的第四特征映射和地面视角图像的第五特征映射计算地面视角图像的交叉注意力权重，根据地面视角图像的第四特征映射和选取的转换后卫星图像的第五特征映射计算选取的转换后卫星图像的交叉注意力权重；
33、s434、根据地面视角图像和选取的转换后卫星图像各自对应的交叉注意力权重和第六特征映射分别计算地面视角图像和选取的转换后本文档来自技高网...
【技术保护点】
1.一种基于双重注意力跨视角的视觉定位方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于双重注意力跨视角的视觉定位方法，其特征在于，S1中对车载相机进行标定，相机标定具体可用公式表示为：
3.如权利要求2所述的基于双重注意力跨视角的视觉定位方法，其特征在于，S2中将多张带坐标的卫星图像分别使用极坐标进行转换，得到多张转换后的卫星图像，极坐标转换具体可用公式表示为：
4.如权利要求3所述的基于双重注意力跨视角的视觉定位方法，其特征在于，双重注意力网络模型包括依次连接的孪生网络、自注意力编码模块、交叉注意力编码模块以及平均池化模块，S4中将地面视角图像和选取的转换后卫星图像输入训练后的双重注意力网络模型处理，输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量，具体包括如下步骤：
5.如权利要求4所述的基于双重注意力跨视角的视觉定位方法，其特征在于，孪生网络具体为修改的VGG16网络，S41中地面视角图像和选取的转换后卫星图像各自对应的编码后特征，具体可表示为：
6.如权利要求5所述的基于双重注意力跨
7.如权利要求6所述的基于双重注意力跨视角的视觉定位方法，其特征在于，交叉注意力编码模块包括第一交叉注意力模块和第二交叉注意力模块，第一交叉注意力模块与第一自注意力模块连接，第二交叉注意力模块和第二自注意力模块连接，S43具体过程如下：
8.如权利要求7所述的基于双重注意力跨视角的视觉定位方法，其特征在于，S44中输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量，具体可用公式表示为：
9.如权利要求8所述的基于双重注意力跨视角的视觉定位方法，其特征在于，S5中计算地面视角图像和选取的转换后卫星图像各自对应的一维特征向量之间的余弦距离，具体公式如下：
10.一种视觉定位系统，采用如权利要求1至9任一项所述的基于双重注意力跨视角的视觉定位方法进行定位，其特征在于，该系统包括车辆、固设于车辆上的车载相机以及计算机系统，计算机系统与车载相机连接，计算机系统中设置有依次连接的处理单元、存储单元以及双重注意力模型，其中：
...【技术特征摘要】
1.一种基于双重注意力跨视角的视觉定位方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于双重注意力跨视角的视觉定位方法，其特征在于，s1中对车载相机进行标定，相机标定具体可用公式表示为：
3.如权利要求2所述的基于双重注意力跨视角的视觉定位方法，其特征在于，s2中将多张带坐标的卫星图像分别使用极坐标进行转换，得到多张转换后的卫星图像，极坐标转换具体可用公式表示为：
4.如权利要求3所述的基于双重注意力跨视角的视觉定位方法，其特征在于，双重注意力网络模型包括依次连接的孪生网络、自注意力编码模块、交叉注意力编码模块以及平均池化模块，s4中将地面视角图像和选取的转换后卫星图像输入训练后的双重注意力网络模型处理，输出地面视角图像和选取的转换后卫星图像各自对应的一维特征向量，具体包括如下步骤：
5.如权利要求4所述的基于双重注意力跨视角的视觉定位方法，其特征在于，孪生网络具体为修改的vgg16网络，s41中地面视角图像和选取的转换后卫星图像各自对应的编码后特征，具体可表示为：
6.如权利要求5所述的基于双重注意力跨视角的视觉定位方法，其特征在于，自注意力编码模块包括第一自注意力模块，第一自注意力模块与孪生网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。