一种用于软式自主空中加油的仿鹰眼运动目标定位方法技术

本发明专利技术是一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其实施步骤为：步骤一：仿鹰视顶盖细胞响应计算；步骤二：仿鹰核团纹理抑制与显著图提取；步骤三：颜色阈值分割；步骤四：感兴趣区域提取；步骤五：锥套标志点坐标获取；步骤六：标识点匹配；步骤七：摄像机参数标定；步骤八：加油锥套位姿测量；本发明专利技术提出的用于软式自主空中加油的仿鹰眼运动目标定位方法能够准确提取无人机软式加油过程中的加油锥套，准确确定加油锥套位置，该方法具有较高的准确性和鲁棒性。

An eagle eye moving target localization method for soft autonomous aerial refueling

The present invention is a method for simulating Hawkeye moving object location method soft autonomous aerial refueling, the implementation steps: step one: the response calculation of imitation Eagle tectal cells; step two: Eagle like nuclei texture extraction and suppression of saliency map; step three: Step Four: color threshold segmentation; ROI extraction; step five mark: sleeve coordinates acquisition; step six: step seven: identification of point matching; camera calibration; step eight: refueling drogue pose measurement; the invention provides for moving target positioning method of imitation Hawkeye soft autonomous aerial refueling can accurately extract the UAV flexible during refueling refueling drogue, accurate determine the refueling drogue position, this method has high accuracy and robustness.

【技术实现步骤摘要】
一种用于软式自主空中加油的仿鹰眼运动目标定位方法一、
本专利技术是一种用于软式自主空中加油的仿鹰眼运动目标定位方法，属于计算机视觉
二、
技术介绍
自主空中加油技术是飞机自主化和智能化研究领域的一个热点，该项技术不但可用于提升无人机作战半径和作战效能，而且有利于提升有人驾驶飞机空中加油的安全性和可操作性。尤其在恶劣天气条件下，利用自主空中加油技术可以大大降低飞行员进行空中加油是的技术难度和工作负担。2011年4月，美国诺斯罗普格鲁曼公司、美国国防高级研究计划局和美国航天局德莱顿飞行中心将一架改造过的无人验证机与一架全球鹰在13716m的高空完成了伙伴式空中加油，开创了无人机自动空中加油的先河。2015年4月，美军X-47B实现了历史上首次无人机自主空中加油对接测试，成功将受油探管插入加油机放出的软管-锥套中。加油机/受油机的精确导航是自主空中加油技术的一项关键技术和研究重点。目前国内外研究的空中加油导航技术主要有惯性导航系统、全球定位系统(GlobalPositionSystem，GPS)、视觉导航系统等。其中惯性导航系统的定位误差会随时间累积，需要使用其他导航系统进行修正。GPS导航系统应用较为广泛，技术也相对成熟，使用简单等优点，但由于完全依靠卫星信号的接收，对外部信号依赖较大。另外，对软式加油而言，软管及其携带的加油锥套受到气流影响会产生摆动，采用差分GPS和惯性导航得到的加油机与受油机之间的位置并不能准确给出加油锥与受油口的位置。基于仿生视觉的相对导航方法能够直接测量加油锥套与受油机之间的相对位置，为无人机空中加油提供准确的导航信息。自然界中很多生物系统拥有超强的环境感知能力，若将其应用于自主空中加油的相对导航过程中将能够同时保证其高精度、实时性、鲁棒性等。鹰眼是一个很好的生物视觉信息处理系统，本专利技术将鹰眼的视觉处理机制用于仿生视觉定位中以提高目标检测的准确度进而提高视觉定位的精度，为软式自主空中加油提供精确的相对导航。鹰隼类的视觉系统存在一种pop-out机制，该机制能够将视觉注意力锁定在更有价值的目标区域，从而大大提高视觉系统的图像分析速度和目标捕获准确度。从鹰眼视网膜出发，在鹰眼视网膜神经节细胞中存在相互抑制作用，通过这种广泛存在的抑制作用可限制细胞的动态响应范围，同时对信息进行有效编码和整合，将这种编码传递到下一层。从视网膜到大脑之间存在离顶盖通路，该通路中的峡核细胞和顶盖细胞会接收来自神经节细胞和其他底层细胞的刺激，并对其进行进一步的整合加工，滤出无效信息和噪声信息，将目标信息提取出来用于下一步的目标检测和定位。本专利技术从鹰的视觉系统处理机制出发，结合鹰脑核团之间的相互作用模拟鹰的视觉注意机制，提取加油锥套所在的大致区域，然后使用颜色分割对锥套区域进行有效的特征提取，进而使用位姿估计算法测量加油机锥套和受油机视觉系统之间的相对位置信息。此外，本专利技术搭建了空中验证平台并对本专利技术所提出的软式自主空中加油仿生视觉定位方法进行验证。三、
技术实现思路
1、专利技术目的：本专利技术提出了一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其目的是提供一种精确的软式空中加油相对导航方案，为软式自主空中加油系统提供可靠的相对位置测量信息，提高空中加油相对导航的自主性，减少对卫星等外部信号的依赖，降低对接过程中的事故发生率，革新当前的空中加油技术。2、技术方案：本专利技术针对软式空中加油近距对接阶段的相对导航任务需求，提出了一种鲁棒性强、精确度高的仿鹰眼运动目标定位方法，并设计了空中验证平台系统，系统的构成见附图1。一种用于软式自主空中加油的仿鹰眼运动目标定位方法，从鹰的视觉系统处理机制出发，结合鹰脑核团之间的相互作用模拟鹰的视觉注意机制，提取加油锥套所在的大致区域，然后使用颜色分割对锥套区域进行有效的特征提取，进而使用位姿估计算法测量加油机锥套和受油机视觉系统之间的相对位置信息；该方法的具体步骤如下：步骤一：仿鹰视顶盖细胞响应计算建立有效的仿鹰视顶盖细胞编码机制，模拟鹰视顶盖细胞编码的有效性和稀疏性，从图像中获取有效的不变性信息。假设对于任意一幅图像I均可以通过一系列图像基Bk的线性组合进行表示：其中图像基Bk需要从大量的自然图像中训练得到，这是自然图像之间存在的共有信息，ak是图像基Bk所对应的系数，该系数具有一定的稀疏性，且可由以下公式求出：其中，Ck称为编码滤波器，是图像基Bk的逆或者伪逆。利用该滤波器对任意一幅图像进行滤波操作，则可以得到视顶盖细胞的响应，且该响应会呈现一定的稀疏性，即大部分的响应值为0，只有少部分的响应值较大，此响应与关于视顶盖细胞的生理学研究结果吻合。软式空中加油场景下背景区域对应的鹰眼视顶盖细胞响应是相似的，而加油锥套区域的细胞响应与背景区域有极大不同。细胞响应是由输入图像和感受野共同决定的，而视顶盖细胞的感受野对方向和边缘信息有很强的选择性。某个感受野对应的细胞响应越大说明该图像块对应的方向和边缘信息与该感受野的选择性相吻合。使用最大响应及其对应的感受野可描述该图像块的主要信息。同样的，背景区域的最大响应很相似而加油锥套区域的细胞响应与之有较大差异。同时背景区域一般较为平坦，边缘信息不明显，导致其对应的细胞响应并不会在某一个感受野上出现远远大于其他感受野的现象。相反，在加油锥套区域存在丰富的边缘信息，且目标区域有较强的方向性，其对应的细胞响应经常会出现在某一个感受野上远远高于其他感受野。因此，本专利技术使用每个图像块的最大响应来描述该图像块是加油锥套区域的概率。步骤二：仿鹰核团纹理抑制与显著图提取鹰的视觉系统中各细胞感受野之间存在大量的侧抑制作用，当有刺激输入时，中心细胞会受到周围细胞的抑制作用，该抑制作用表现为对为增强算法的抗干扰能力，本专利技术还考虑了背景区域的纹理一致性。当某个图像块与其周围图像块的纹理一致性较强时认为该图像块是背景区域的概率较大，因此对其赋以较大的纹理抑制系数进行抑制。反之，当该图像块与周围图像块的纹理一致性较弱时说明该图像块是加油锥套区域的概率较大，对其赋以较小的纹理抑制系数。纹理一致性计算方法是基于灰度共生矩阵的方法，灰度共生矩阵定义如下：假定待分析的图像水平方向有Nx个像素，垂直方向y上有Ny个像素的，图像的灰度级为G，设X＝{1,2,...,Nx}表示图像的水平方向的像素坐标，Y＝{1,2,...,Ny}表示图像垂直方向上的像素坐标，N＝{0,1,...,G}为量化后的灰度级，则原图像可以表示成一个由水平与垂直坐标到灰度级的映射函数f:X×Y→N。图像中某个方向上相隔一定距离的一对像素灰度的统计规律可以反映该图像的纹理特性，使用一个矩阵来描述每个像素对的灰度统计规律则可得到灰度共生矩阵，表示为W。图像中任意一点(x,y)与某个与它距离一定长度的像素点(x+a,y+b)形成一个像素点对，设该像素点对的灰度值为(i,j)。即像素点(x,y)的灰度值为i，像素点(x+a,y+b)的灰度值为j。固定a和b，令点(x,y)在整幅图像上移动，则会得到各种(i,j)值。假如图像的灰度级数为G，则i与j的组合共有G2种。在整幅图像中，统计每一种出现的频度为P(i,j,d,θ)则称方阵[P(i,j,d,θ)]G×G为灰度共生矩阵，即[P(i,j,d,θ)]G×G本文档来自技高网...

【技术保护点】
一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其特征在于：从鹰的视觉系统处理机制出发，结合鹰脑核团之间的相互作用模拟鹰的视觉注意机制，提取加油锥套所在的大致区域，然后使用颜色分割对锥套区域进行有效的特征提取，进而使用位姿估计算法测量加油机锥套和受油机视觉系统之间的相对位置信息；该方法的具体步骤如下：步骤一：仿鹰视顶盖细胞响应计算建立有效的仿鹰视顶盖细胞编码机制，模拟鹰视顶盖细胞编码的有效性和稀疏性，从图像中获取有效的不变性信息；假设对于任意一幅图像I均可以通过一系列图像基Bk的线性组合进行表示：

【技术特征摘要】
1.一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其特征在于：从鹰的视觉系统处理机制出发，结合鹰脑核团之间的相互作用模拟鹰的视觉注意机制，提取加油锥套所在的大致区域，然后使用颜色分割对锥套区域进行有效的特征提取，进而使用位姿估计算法测量加油机锥套和受油机视觉系统之间的相对位置信息；该方法的具体步骤如下：步骤一：仿鹰视顶盖细胞响应计算建立有效的仿鹰视顶盖细胞编码机制，模拟鹰视顶盖细胞编码的有效性和稀疏性，从图像中获取有效的不变性信息；假设对于任意一幅图像I均可以通过一系列图像基Bk的线性组合进行表示：其中图像基Bk需要从大量的自然图像中训练得到，这是自然图像之间存在的共有信息，ak是图像基Bk所对应的系数，该系数具有一定的稀疏性，且可由以下公式求出：其中，Ck称为编码滤波器，是图像基Bk的逆或者伪逆；利用该滤波器对任意一幅图像进行滤波操作，则可以得到视顶盖细胞的响应，且该响应会呈现一定的稀疏性，即大部分的响应值为0，只有少部分的响应值较大，此响应与关于视顶盖细胞的生理学研究结果吻合；软式空中加油场景下背景区域对应的鹰眼视顶盖细胞响应是相似的，而加油锥套区域的细胞响应与背景区域有极大不同；细胞响应是由输入图像和感受野共同决定的，而视顶盖细胞的感受野对方向和边缘信息有很强的选择性；某个感受野对应的细胞响应越大说明该图像块对应的方向和边缘信息与该感受野的选择性相吻合；使用最大响应及其对应的感受野可描述该图像块的主要信息；同样的，背景区域的最大响应很相似而加油锥套区域的细胞响应与之有较大差异；同时背景区域一般较为平坦，边缘信息不明显，导致其对应的细胞响应并不会在某一个感受野上出现远远大于其他感受野的现象；相反，在加油锥套区域存在丰富的边缘信息，且目标区域有较强的方向性，其对应的细胞响应经常会出现在某一个感受野上远远高于其他感受野；因此，使用每个图像块的最大响应来描述该图像块是加油锥套区域的概率；步骤二：仿鹰核团纹理抑制与显著图提取鹰的视觉系统中各细胞感受野之间存在大量的侧抑制作用，当有刺激输入时，中心细胞会受到周围细胞的抑制作用，该抑制作用表现为对为增强算法的抗干扰能力，本发明还考虑了背景区域的纹理一致性；当某个图像块与其周围图像块的纹理一致性较强时认为该图像块是背景区域的概率较大，因此对其赋以较大的纹理抑制系数进行抑制；反之，当该图像块与周围图像块的纹理一致性较弱时说明该图像块是加油锥套区域的概率较大，对其赋以较小的纹理抑制系数；纹理一致性计算方法是基于灰度共生矩阵的方法，灰度共生矩阵定义如下：假定待分析的图像水平方向有Nx个像素，垂直方向y上有Ny个像素的，图像的灰度级为G，设X＝{1,2,...,Nx}表示图像的水平方向的像素坐标，Y＝{1,2,...,Ny}表示图像垂直方向上的像素坐标，N＝{0,1,...,G}为量化后的灰度级，则原图像可以表示成一个由水平与垂直坐标到灰度级的映射函数f:X×Y→N；图像中某个方向上相隔一定距离的一对像素灰度的统计规律可以反映该图像的纹理特性，使用一个矩阵来描述每个像素对的灰度统计规律则可得到灰度共生矩阵，表示为W；图像中任意一点(x,y)与某个与它距离一定长度的像素点(x+a,y+b)形成一个像素点对，设该像素点对的灰度值为(i,j)，即像素点(x,y)的灰度值为i，像素点(x+a,y+b)的灰度值为j；固定a和b，令点(x,y)在整幅图像上移动，则会得到各种(i,j)值；假如图像的灰度级数为G，则i与j的组合共有G2种；在整幅图像中，统计每一种出现的频度为P(i,j,d,θ)则称方阵[P(i,j,d,θ)]G×G为灰度共生矩阵，即[P(i,j,d,θ)]G×G；灰度共生矩阵本质上就是两个像素点的联合直方图，距离差分值(a,b)取不同的数值组合，都可以得到图像沿一定方向θ，相隔一定距离的灰度共生矩阵；设置a＝b＝2，θ＝[0°,45°，90°，135°]，量化后的灰度等级为8，故灰度共生矩阵是一个8*8*4的矩阵；灰度共生矩阵能够反映图像灰度关于方向、相邻间隔、变化幅度等信息；为分析图像的局部模式和排列规则等一般并不会直接使用得到的灰度共生矩阵，而是在其基础上获取二次统计量；在获取灰度共生矩阵的特征参数之前，要作正规化处理，利用下式进行正规化处理：P(i,j,d,θ)＝P(i,j,d,θ)/R(3)其中，R是正规化常数，是灰度共生矩阵中全部元素之和；二次统计量有对比度和熵，其中对比度定义如下：W1＝∑∑[(i-j)2×P2(i,j,d,θ)](4)对比度是W阵中关于主对角线的惯性矩，它度量了矩阵值的分布情况和图像的局部变化；W1的值越大说明纹理对比越强烈，图像越清晰，纹理效果越明显；熵定义如下：W2＝-∑∑P(i,j,d,θ)×log10P(i,j,d,θ)(5)熵代表了图像的信息量是图像内容随机性的度量，能表征纹理的复杂程度；当图像无纹理时熵为0，满纹理时熵最大；为了计算图像的纹理抑制系数，采用在每个像素周围进行两个不同窗口大小的采样，对采样得到的两个图像块分别计算其灰度共生矩阵；然后利用计算公式(3)得到正规化后的灰度共生矩阵；利用灰度共生矩阵分别计算其二次统计量，然后计算两个二次统计量之间的距离，该距离描述了某一个图像块与其周围图像块的纹理一致性；如果两个二次统计量之间的距离越大则说明该图像块与周围区域的纹理存在较大差异，故其纹理抑制系数应赋以较小的值；反之若两个二次统计量之间的距离较小则说明该图像块与周围区域的纹理较为相似，此时该图像块对应的纹理抑制系数应...

【专利技术属性】
技术研发人员：段海滨，王晓华，邓亦敏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11