一种基于图像和GNSS的目标空间定位方法技术

本发明专利技术公开了一种基于图像和GNSS的目标空间定位方法，包括以下步骤：S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置；本发明专利技术步骤S1训练出一个高效的对堆栈自编码回归网络，使得该网络具备直接从图像和GNSS的融合结果中回归得到经纬度位置的能力。步骤S2回归出精确的经纬度位置，并根据置信度的大小对回归的经纬度位置和GNSS测量值进行滤波处理，从而得到最准确的目标空间位置估计值。目标空间位置估计值。目标空间位置估计值。

【技术实现步骤摘要】
一种基于图像和GNSS的目标空间定位方法


[0001]本专利技术涉及空间定位
，具体涉及一种基于图像和GNSS的目标空间定位方法。

技术介绍

[0002]固定式摄像机图像中的目标进行精确的空间定位是许多未来工业应用的基础，包括：智能制造、户外移动机器人监控、自动驾驶整体态势感知与监控、虚拟/增强现实、数字孪生和重点场所的安全监控。传统的基于视觉的空间定位方法很大程度上依赖于图像质量和对相机内外参数的准确标定，很难手动选择出图像中的一个点或者特征来换算目标的空间位置，从而严重限制了计算机视觉在空间定位领域的作用。
[0003]空间定位的另一个常用技术是全球导航卫星系统(GNSS)，它可以提供全球坐标系下的空间位置信息。但是，由于存在卫星轨道误差、时钟误差、信号传播过程中的折射误差、多径效应、信号阻塞等消极因素，GNSS定位信息总会存在一些偏差，使得GNSS在诸如自动驾驶等需要高精度目标定位的复杂应用中显得不可靠。
[0004]单纯依靠图像或者GNSS都无法满足未来工业级应用要求。然而，如果将固定式摄像机图像和GNSS进行互补融合，可以提供更加稳定、可靠的定位信息。图像包含了目标与其环境的精确相对位置，同时不受电磁环境干扰；而GNSS可以在世界坐标系中提供绝对位置信息，同时对各种图像条件具备鲁棒性。它们具有较强的互补性，彼此之间的融合将可以提高空间定位的准确性和稳定性。目前已经有许多基于相机和GNSS的多传感器融合方法，但这些方法始终需要事先进行相机标定，适用场景受限，同时精度有待提高。采用机器学习、多模态数据融合等技术，将图像与GNSS进行融合定位，将可以有效提高定位的精度和稳定性。

技术实现思路

[0005]针对现有技术中的上述不足，本专利技术提供的一种基于图像和GNSS的目标空间定位方法解决了现有定位方法精度不高的问题。
[0006]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0007]一种基于图像和GNSS的目标空间定位方法，包括以下步骤：
[0008]S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；
[0009]S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置。
[0010]进一步地，所述步骤S1包括以下分步骤：
[0011]S11、获取目标在图像中的相对视觉位置和目标的GNSS测量经纬度；
[0012]S12、对目标的GNSS测量经纬度进行标准化处理，得到绝对经纬度；
[0013]S13、将目标的相对视觉位置和绝对经纬度进行时间配准，得到训练样本；
[0014]S14、采用训练样本对堆栈自编码回归网络进行训练，得到回归器和回归误差尺度因子。
[0015]进一步地，所述步骤S12中标准化处理的公式为：
[0016][0017][0018]其中，l
ti
为ti时刻目标的GNSS测量经度，l
min
为训练样本中最小的GNSS测量经度，l
max
为训练样本中最大的GNSS测量经度，为目标的绝对经度，A
ti
为ti时刻目标的GNSS测量纬度，A
min
为训练样本中最小的GNSS测量纬度，A
max
为训练样本中最大的GNSS测量纬度，为目标的绝对纬度，α为辨识度因子。
[0019]进一步地，所述步骤S13中进行时间配准的方法为：将目标的相对视觉位置所对应的目标检测框的宽度、目标检测框的高度和目标检测框左上框角的像素坐标，与绝对经纬度进行时间配准，得到目标在同一时刻下的六维信息拼接张量：即一个训练样本，其中，(x,y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度，为目标的绝对经度，为目标的绝对纬度。
[0020]进一步地，所述步骤S14中对堆栈自编码回归网络进行训练的损失函数为：
[0021][0022]其中，L为损失函数，w
X
为空间对空间的映射权重，w
z
为点对点的映射权重。X
i
为拼接张量X的第i个元素，X
′
i
为重构拼接张量X
′
的第i个元素，X
′
是将拼接张量X输入堆栈自编码回归网络中，经过堆栈自编码回归网络中编码器回归得到经纬度回归向量再经过堆栈自编码回归网络中解码器重构得到的六维信息拼接张量，(x
′
,y
′
)为重构后的目标检测框左上框角像素坐标，w
′
为重构后的目标检测框的宽度，h
′
为重构后的目标检测框的高度，为重构后的目标的绝对经度，为重构后的目标的绝对纬度，Z为绝对经纬度向量，Z
j
为绝对经纬度向量的第j个元素，为经纬度回归向量的第j个元素，n为拼接张量的维度，即n＝6，m为经纬度向量的维度，即m＝2。
[0023]上述进一步方案的有益效果为：通过输入张量X和输出张量X
′
间的均方差值，去保障编码器和解码器的整体回归性能，使得回归器能够学习到张量X的两个分量，即相对视觉位置B＝(x,y,w,h)与绝对经纬度向量之间的相关性，并将此相关性隐性表达在经纬度回归向量中，初步建立起图像相对视觉位置张量空间与GNSS经纬度向量空间之间的“空间对空间”的映射关系。
[0024]通过经纬度向量Z与经纬度回归向量的均方差值，使其通过流形学习将六维张
量空间一对一地映射到二维经纬度向量空间，更加准确地建立起目标检测框视觉相对位置信息B与经纬度向量Z之间的“点对点”的映射关系。
[0025]权重w
X
、w
z
用于调整“空间对空间”映射、“点对点”映射的准确程度。
[0026]进一步地，所述步骤S14中回归误差尺度因子的公式为：
[0027][0028]其中，E为回归误差尺度因子，N为训练样本的总数，e
Z,k
为第k个训练样本的回归误差，回归误差为绝对经纬度向量Z与经纬度回归向量之间的均方误差，e
X,k
为第k个训练样本的重构误差，重构误差为重构六维信息拼接张量X
′
与六维信息拼接张量X之间的均方误差。
[0029]进一步地，所述步骤S2包括以下分步骤：
[0030]S21、获取待估目标的相对视觉位置和待估目标的绝对经纬度；
[0031]S22、将待估目标的相对视觉位置和待估目标的绝对经纬度进行拼接，得到待估目标的拼接张量；
[0032]S23、将待估目标的拼接张量输入回归器中，得到待估目标的经纬度回归值；
[0033]S24、根据回归误差尺度因子，计算待估目标的经纬度回归值的回归误差；
[0034]S25、将待估目标的GNSS测量经纬度的先验误差作为待估目标的经纬度的测量误差；
[0035]S26、根据待估目标的经纬度回归值的回归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像和GNSS的目标空间定位方法，其特征在于，包括以下步骤：S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置。2.根据权利要求1所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S1包括以下分步骤：S11、获取目标在图像中的相对视觉位置和目标的GNSS测量经纬度；S12、对目标的GNSS测量经纬度进行标准化处理，得到绝对经纬度；S13、将目标的相对视觉位置和绝对经纬度进行时间配准，得到训练样本；S14、采用训练样本对堆栈自编码回归网络进行训练，得到回归器和回归误差尺度因子。3.根据权利要求2所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S12中标准化处理的公式为：S12中标准化处理的公式为：其中，l
ti
为ti时刻目标的GNSS测量经度，l
min
为训练样本中最小的GNSS测量经度，l
max
为训练样本中最大的GNSS测量经度，为目标的绝对经度，A
ti
为ti时刻目标的GNSS测量纬度，A
min
为训练样本中最小的GNSS测量纬度，A
max
为训练样本中最大的GNSS测量纬度，为目标的绝对纬度，α为辨识度因子。4.根据权利要求2所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S13中进行时间配准的方法为：将目标的相对视觉位置所对应的目标检测框的宽度、目标检测框的高度和目标检测框左上框角的像素坐标，与绝对经纬度进行时间配准，得到目标在同一时刻下的六维信息拼接张量：即一个训练样本，其中，(x，y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度，为目标的绝对经度，为目标的绝对纬度。5.根据权利要求3所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S14中对堆栈自编码回归网络进行训练的损失函数为：其中，L为损失函数，w
X
为空间对空间的映射权重，w
Z
为点对点的映射权重。X
i
为拼接张量X的第i个元素，X
′
i
为重构拼接张量X
′
的第i个元素，X
′
是将拼接张量X输入堆栈自编码回归网络中，经过堆栈自编码回归网络中编码器回归得到经纬度回归向量再经过堆栈自编码回归网络中解码器重构得到的六维信息拼接张量，(x
′
，y
′
)为重构后的目标检测框左上框角像素坐标，w
′
为重构后的目标检测框的宽度，h
′
为重构
后的目标检测框的高度，为...

【专利技术属性】
技术研发人员：李炜，梁斌斌，杨帆，韩笑冬，武长青，王祥通，付道勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：