一种基于改进孪生神经网络的无人机跟踪地面目标方法技术

本发明专利技术公开了一种基于改进孪生神经网络的无人机目标跟踪方法。建立孪生神经网络结构；将地面目标跟踪数据集输入孪生神经网络结构训练，优化设置跟踪判定失败的相似阈值，获得跟踪器；无人机在空中飞行对地面的目标进行跟踪，待测图像序列输入到跟踪器中输出选出所跟踪的目标对象窗口；将目标对象窗口的中心位置与无人机实时采集的图像中心点的偏差和运动关系反馈至无人机，从而对无人机对目标的跟踪进行飞行控制。本发明专利技术是利用相关相位法估计无人机的运动状态，同时基于目标窗口的中心位置与图像中心点的偏差和无人机与目标的相对运动关系，将目标的位置信息反馈无人机的控制系统，使无人机跟踪目标具有一定的鲁棒性。使无人机跟踪目标具有一定的鲁棒性。使无人机跟踪目标具有一定的鲁棒性。

【技术实现步骤摘要】
一种基于改进孪生神经网络的无人机跟踪地面目标方法


[0001]本专利技术属于无人机目标跟踪
的一种无人机飞行控制方法，具体是涉及了一种基于改进孪生神经网络的无人机跟踪地面目标方法。

技术介绍

[0002]目标跟踪作为视觉领域最具有研究热度的问题之一，在无人机的应用中也具有很高的实际应用价值，目标跟踪技术主要是通过从相机中获取视觉信息，利用视觉各类特征信息将目标从图像中提取出来，获知目标的位置，这是目标跟踪的基础，但由于跟踪问题一般都是裁取第一张图片的目标，后续的视频图像中的目标情况是未知的，且目标往往呈现出一种无规则运动的状态，即目标在运动过程中是不断变化的，误差的积累可能会导致跟踪失败问题。
[0003]通过裁剪出第一张图标中的目标，通过孪生神经网络结构输出跟踪结果，并将此结果经过判定和重定位等方法，优化跟踪结果，减少跟踪失败的次数。同时，将目标窗口的中心位置与图像中心点的偏差和运动关系反馈至无人机，无人机系统反馈获得目标位置信息，以便无人机系统做出更好的姿态控制响应，达到预期想要的跟踪效果。

技术实现思路

[0004]为了解决
技术介绍
中存在的问题，本专利技术提出了一种基于改进孪生神经网络的无人机跟踪地面目标方法。
[0005]本专利技术通过设计一个孪生神经网络结构，提取出目标的图像特征，并输出跟踪结果，当跟踪失败，通过判定和重定位部分，利用目标轮廓的颜色特征，寻找之前图像序列中最相似的目标区域，重新输出目标特征。同时基于目标窗口的中心位置与图像中心点的偏差和运动关系，给予无人机的反馈系统目标的位置信息，无人机跟踪目标具有一定的鲁棒性。
[0006]为实现上述目的，本专利技术采用的技术方案为：
[0007]步骤1：建立用于识别地面目标特征的孪生神经网络结构；
[0008]步骤2：将地面目标跟踪数据集输入孪生神经网络结构进行训练，优化设置用于跟踪判定失败的相似阈值，获得训练后的孪生神经网络结构作为跟踪器；
[0009]所述的地面目标跟踪数据集可以来自于公开的数据集，包括了无人机在飞行过程中向下俯视拍摄的图像及其标签。
[0010]步骤3：无人机在空中飞行对地面的目标进行跟踪，利用已训练后的孪生神经网络结构集成的跟踪器，将无人机实时采集的待测图像序列输入到跟踪器中输出选出所跟踪的目标对象窗口；
[0011]步骤4：将目标对象窗口的中心位置与无人机实时采集的图像中心点的偏差和运动关系反馈至无人机，从而对无人机对目标的跟踪进行飞行控制。
[0012]所述孪生神经网络结构主要由跟踪部分、判定和重定位部分构成，所述跟踪部分
用于接收图像输出目标跟踪的相似度分数和跟踪框的结果，判定和重定位部分用于接收跟踪部分输出的相似度分数判定目标跟踪丢失情况、对目标进行重定位并优化跟踪的结果。
[0013]所述孪生神经网络的跟踪部分包括模板分支和检测分支，模板分支和检测分支的输入端作为孪生神经网络的输入端，模板分支和检测分支均包括相同的CNN网络和RPN网络，RPN网络是由AlexNet网络的主干部分去掉最后一层全连接层并连接RPN层后构成，组成最后的RPN网络，两个模板分支和检测分支的输出端均连接到RPN网络的输入端，RPN网络的输出端作为孪生神经网络的输出端；
[0014]由模板分支和检测分支分别接收目标模板图像区域和检测图像输出各自的图像特征图到RPN网络中，由最后的RPN网络处理输出跟踪框以及模板分支和检测分支之间的相似度分数，进而发送到判定和重定位部分。
[0015]本专利技术是采用基于AlexNet的孪生神经网络且将AlexNet的最后一层全连接层替换改为RPN层形成最后的特征提取过程。
[0016]所述的目标模板图像区域为框选的目标区域，检测图像为待检测的图像。
[0017]所述孪生神经网络的判定和重定位部分是接收跟踪部分输出的跟踪结果中的相似度分数后与预设的相似阈值进行比较判定，获得目标是否跟踪丢失的判定结果并更新处理：
[0018]若相似度分数大于等于预设的相似阈值，则目标未跟踪丢失，不更新处理；
[0019]若相似度分数小于预设的相似阈值，则目标跟踪丢失，根据跟踪部分输出的跟踪结果重新寻找目标以更新处理。
[0020]初始情况下，初始的目标模板图像区域采用第一帧中框选的目标区域，可以是手动输入的，初始的检测图像为第一帧图像；之后是将后续的每一帧图像和目标模板图像区域一起输入到孪生神经网络进行处理，在判定目标跟踪丢失时更新目标模板图像区域。
[0021]在无人机飞行过程中，针对实时的当前帧图像作为检测图像输入到孪生神经网络中，在判定目标跟踪丢失时，判定和重定位部分接收跟踪部分输出的跟踪结果重新寻找目标，更新目标模板图像区域，具体为：
[0022]1‑
1、利用高斯核密度函数估计处理当前帧图像的跟踪结果中跟踪框中目标图像的颜色直方图概率密度分布，得到当前帧图像的跟踪结果的各个目标像素点的颜色概率密度和背景像素点的颜色概率密度然后通过颜色概率密度和按照以下公式计算出像素点属于目标的概率
[0023][0024]其中，表示目标像素点的颜色概率密度，表示像素点属于目标的概率，表示属于背景的像素点的颜色概率密度，m表示从跟踪框中目标图像的颜色直方图里选取的颜色区间数量，t表示跟踪框中的目标，k表示第m个颜色区间；
[0025]1‑
2、再根据概率得到像素点不同颜色的概率分布，作为当前帧图像的轮廓概率响应图；
[0026]1‑
3、通过轮廓概率响应图得到图像中所有像素点的概率值之和作为当前帧图像
的权重参数
[0027]1‑
4、将当前帧的前n帧图像均按照上述步骤1
‑
1～1
‑
3进行处理获得各自对应的权重参数再将当前帧的前n帧图像的所有权重参数求取平均作为平均权重参数通过以下公式的巴氏距离d
ab
计算当前帧的前n帧图像中的每一帧图像的权重参数和平均权重参数之间的相似度d
ab
：
[0028][0029]优化跟踪结果：
[0030]从当前帧的前n帧图像中，找到相似度d
ab
最大的一帧图像作为更新后的目标模板图像，将更新后的目标模板图像对应的跟踪框作为新的目标跟踪丢失的目标模板图像区域替换原有的目标模板图像区域，输入到孪生神经网络中进行重新跟踪处理。
[0031]所述孪生神经网络中的相似阈值参与到步骤2中的训练。
[0032]所述步骤2中，优化设置用于跟踪判定失败的相似阈值是指根据孪生神经网络结构实时训练的情况进行处理。若跟踪失败情况出现，模板分支与检测分支匹配的相似度分数迅速下降，结合此时的相似度分数和判定跟踪失败的次数，当相似度分数设置为σ，判定跟踪失败为L次数的准确率最高，则设置跟踪判定失败的相似分数的阈值为σ。
[0033]所述的步骤3中，以待测图像序列中的第一帧图像作为模板分支中的目标，进而进行标定跟踪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征在于，方法包括以下步骤：步骤1：建立用于识别地面目标特征的孪生神经网络结构；步骤2：将地面目标跟踪数据集输入孪生神经网络结构进行训练，优化设置用于跟踪判定失败的相似阈值，获得训练后的孪生神经网络结构作为跟踪器；步骤3：无人机在空中飞行对地面的目标进行跟踪，将无人机实时采集的待测图像序列输入到跟踪器中输出选出所跟踪的目标对象窗口；步骤4：将目标对象窗口的中心位置与无人机实时采集的图像中心点的偏差和运动关系反馈至无人机，从而对无人机对目标的跟踪进行飞行控制。2.根据权利要求1所述的一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征为：所述孪生神经网络结构主要由跟踪部分、判定和重定位部分构成，所述跟踪部分用于接收图像输出目标跟踪的相似度分数和跟踪框的结果，判定和重定位部分用于接收跟踪部分输出的相似度分数判定目标跟踪丢失情况、对目标进行重定位并优化跟踪的结果。3.根据权利要求1所述的一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征为：所述孪生神经网络的跟踪部分包括模板分支和检测分支，模板分支和检测分支均包括相同的CNN网络和RPN网络，RPN网络是由AlexNet网络的主干部分去掉最后一层全连接层并连接RPN层后构成，两个模板分支和检测分支的输出端均连接到RPN网络的输入端；由模板分支和检测分支分别接收目标模板图像区域和检测图像输出各自的图像特征图到RPN网络中，由RPN网络处理输出跟踪框以及相似度分数，进而发送到判定和重定位部分。4.根据权利要求1所述的一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征为：所述孪生神经网络的判定和重定位部分是接收跟踪部分输出的跟踪结果中的相似度分数后与预设的相似阈值进行比较判定，获得目标是否跟踪丢失的判定结果并更新处理：若相似度分数大于等于预设的相似阈值，则目标未跟踪丢失，不更新处理；若相似度分数小于预设的相似阈值，则目标跟踪丢失，根据跟踪部分输出的跟踪结果重新寻找目标以更新处理。5.根据权利要求1所述的一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征为：初始情况下，初始的目标模板图像区域采用第一帧中框选的目标区域，初始的检测图像为第一帧图像；之后是将后续的每一帧图像和目标模板图像区域一起输入到孪生神经网络进行处理，在判定目标跟踪丢失时更新目标模板图像区域。6.根据权利要求1所述的一种基于改进孪生神经网络的无人机跟踪地面目标方法，其特征为：针对实时的当前帧图...

【专利技术属性】
技术研发人员：盛弼政，郑恩辉，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：