基于多源图像自适应选权的融合定位跟踪控制方法技术

本发明专利技术属于人工智能导航定位技术领域，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。本发明专利技术包括根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点等步骤。本发明专利技术利用状态变量线性转换与动力学模型结合的形式构造状态观测器；利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。

【技术实现步骤摘要】
基于多源图像自适应选权的融合定位跟踪控制方法
本专利技术属于人工智能导航定位
，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。
技术介绍
随着人工智能技术的发展，无人机、无人车研究和发展日新月异。其中对于无人控制系统，解决定位问题是实现整体功能的基本保障。而定位精度与无人控制系统的行驶安全和工作效率息息相关，单纯的依靠传感器完成定位功能已经满足不了对定位精度的要求。此外多系统融合自动跟踪能有效地避免人为因素引起的监视误差，为分析和判断机体行驶行为提供依据，从而有效地避免无人机、无人车的交通事故。而无人系统环境的特殊性问题，例如雾，雨，光照变化频繁，定位跟踪目标的相似、视域大等，加大跟踪定位的难度。根据检索的现有技术分析，包括多目标在雷达间数据传递、数据融合及连续跟踪定位方法、多目标跟踪识别方法等，目前的做法是对多种类传感器的定位数据进行融合分析，利用传感器功能和精度互补的特点，提高定位结果的精度，还能提高定位系统对各种环境的适应性，增强系统鲁棒性。同时在图像定位跟踪方面，利用可见光和红外图像的优势互补，在不降低目标辨识度的前提下提高环境适应能力。当前对于一般场景的多目标跟踪的研究较多，近年来，随着深度学习等先进技术发展，在多目标跟踪定位方面有很大的改进空间。而卫星导航系统也有典型的缺陷，定位过程中无人系统对卫星的数量和信号强度都有要求。在峡谷、隧道、立交桥等半封闭背景下信号衰减严重，使定位跟踪精度受极大影响。因此，在导航定位领域中传统的多源融合方法以卡尔曼滤波系列算法为主，而其线性化误差仍然具有改进的空间。
技术实现思路
本专利技术的目的在于提供一种定位精度更高的基于多源图像自适应选权的融合定位跟踪控制方法。本专利技术的目的是这样实现的：基于多源图像自适应选权的融合定位跟踪控制方法，包括如下步骤：(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；(3)将待定位的红外、可见光图像和因子图对进行预处理；(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。所述的步骤(1)包括：(1.1)检测无人系统的6维位姿向量η，确定质量矩Mη(η)；(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵J；(1.3)提取无人系统推进器分布矩阵B，探测未知动力项以及目前无人系统的跟踪控制律u；(1.4)构建无人系统的动力学模型：(1.5)设置对无人驾驶系统的状态向量进行线性变换：I6×6为6阶单位阵，T1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1T，x2T]T(1.6)构建状态观测器：其中，L1、L2为对角阵，代表的估计值：δ、ki、p1、p2、a1、a2为大于零的常数；i＝1，2，3，4，5，6；α∈(0，1)，γ1＞1，γ2∈(0，1)；P1、P2是正定对角阵，col代表将所有元素整合成一个列向量；N1i(ζ1i)和N2i(ζ2i)是Nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程所述的步骤(2)包括：(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；(2.4)调取无人驾驶系统整体函数：其中，u1，u2，…，un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；(2.5)构建无人驾驶系统整体函数的因子图：G＝(F，U，ε)U为变量节点集合，F为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；(2.6)调取截止到tk时刻的所有位置变量节点Xk和所有误差变量节点Ckxi为ti时刻的位置变量，ci为ti时刻的误差变量；(2.7)计算系统的最大后验概率Uk＝{Xk，Ck}p(Uk|Zk)为概率密度函数，Zk表示到tk时刻的所有量测信息；为ti时刻的变量节点；为误差方程；为误差方程的平方马氏距离；∑为量测噪声协方差矩阵因子图表达为：hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。所述步骤(3)包括：(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换HSV格式、饱和度缩放、转换RGB格式；(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。所述的步骤(4)包括：(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由VGG卷积层和Extension卷积层构成的深度卷积流，在VGG层之后，将得到的特征图通过更深的Extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；(4本文档来自技高网...

【技术保护点】
1.基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，包括如下步骤：/n(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；/n(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；/n(3)将待定位的红外、可见光图像和因子图对进行预处理；/n(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；/n(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；/n(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；/n(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；/n(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。/n

【技术特征摘要】
1.基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，包括如下步骤：
(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；
(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；
(3)将待定位的红外、可见光图像和因子图对进行预处理；
(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；
(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；
(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；
(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；
(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。


2.根据权利要求1所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(1)包括：
(1.1)检测无人系统的6维位姿向量η，确定质量矩Mη(η)；
(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵J；
(1.3)提取无人系统推进器分布矩阵B，探测未知动力项以及目前无人系统的跟踪控制律u；
(1.4)构建无人系统的动力学模型：



(1.5)设置对无人驾驶系统的状态向量进行线性变换：



I6×6为6阶单位阵，T1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1T,x2T]T






(1.6)构建状态观测器：


















其中，L1、L2为对角阵，代表的估计值：



δ、ki、p1、p2、a1、a2为大于零的常数；i＝1,2,3,4,5,6；
α∈(0,1)，γ1>1，γ2∈(0,1)；P1、P2是正定对角阵，



col代表将所有元素整合成一个列向量；
N1i(ζ1i)和N2i(ζ2i)是Nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；
(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程











3.根据权利要求2所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(2)包括：
(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；
(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；
(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；
(2.4)调取无人驾驶系统整体函数：



其中，u1,u2,…,un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；
(2.5)构建无人驾驶系统整体函数的因子图：
G＝(F,U,ε)
U为变量节点集合，F为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；
(2.6)调取截止到tk时刻的所有位置变量节点Xk和所有误差变量节点Ck






xi为ti时刻的位置变量，ci为ti时刻的误差变量；
(2.7)计算系统的最大后验概率



Uk＝{Xk,Ck}
p(Uk|Zk)为概率密度函数，Zk表示到tk时刻的所有量测信息；




为ti时刻的变量节点；




为误差方程；

为误差方程的平方马氏距离；Σ为量测噪声协方差矩阵
因子图表达为：



hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。


4.根据权利要求3所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(3)包括：
(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；
(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换HSV格式、饱和度缩放、转换RGB格式；
(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；
(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。


5.根据权利要求4所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(4)包括：
(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由VGG卷...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23