一种无人艇航行环境基于多传感器融合的目标识别方法技术

本发明专利技术公开了一种无人艇航行环境基于多传感器融合的目标识别方法，针对海上巨量海洋环境信息干扰下的目标识别，提出光学图像与光学雷达融合，第一识别模型与第二识别模型结合，对拍摄图像使用时空融合算法预处理等方式，突破复杂海况无人艇航行环境感知和目标识别的难点问题，采用第一模型和第二模型结合的方式，保证模型具有较好的从海洋环境中提取识别目标的效果。并且将第一识别模型对图像提取的识别目标和自然因素识别结果一同输入至第二识别模型，一方面使第二识别模型专注于待识别目标物体的识别分类，提高目标识别效果，另一方面能够考虑海上各种因素对目标识别的干扰，降低复杂海况对目标识别的影响。降低复杂海况对目标识别的影响。降低复杂海况对目标识别的影响。

【技术实现步骤摘要】
一种无人艇航行环境基于多传感器融合的目标识别方法


[0001]本专利技术属于无人艇
，尤其是涉及一种无人艇航行环境基于多传感器融合的目标识别方法。

技术介绍

[0002]无人艇的出现，不仅能在一些高危区域替代或者协助有人舰船执行任务，最大程度降低风险、缩减成本、保障安全，更重要的是极大地影响甚至是彻底地颠覆了未来的作战样式。根据搭载的任务模块不同，无人艇可以与有人舰船协同或者独立完成等多种军事任务。无人艇正在逐渐成为海上装备的中坚力量，该领域所涉及的无人系统及其关键技术是也正成为海上智能制造中的明珠，将对整个无人艇领域的发展产生决定性影响。
[0003]众所周知，自主航行是无人艇的必备特征能力和核心价值所在，而其先决条件包括，实现对周围环境目标的快速感知。但是由于复杂甚至是恶劣的海上环境，常常表现出变化无常，加上巨量环境信息的相互涌入、各种环境目标的相互影响、多变任务场景的相互交替，大大影响、降低，甚至是严重制约了无人艇自主控制能力。
[0004]现有的识别技术都需要无人艇平台尽可能保持平稳，尤其是在巨量海洋环境信息要素汇入、海上环境目标特征相似或在远距离难以区分的情况下，更需要相对稳定的装载平台作为支撑，但是海上的环境肯定不是理想条件。4级海况下风浪具有明显的形状，5级海况就出现高大的波峰，风开始削去波峰上的浪花，这对中小型无人艇的自主航行带来很大影响；即便是3级海况，虽然风浪不大，但很触目、波峰破裂，这就难以保证目标识别设备基座的稳定性，如果大雾、低照度等影响因素相互作用、相互叠加，那么势必极大制约无人艇的感知、决策和航行的自主控制能力。
[0005]为了实现典型海况下的目标识别，无人艇需要对获得的视频图像进行自主处理，并能对其中的目标物体实现快速、准确的识别。通过识别确定目标物体是无人艇视觉系统的主要任务。
[0006]但是，当前用于无人艇的目标识别更多的是将识别技术从陆上移植或者迁移到海上无人舰船，很多海上场景和舰船自身的问题没有考虑进去，例如巨量海洋环境信息汇集和干扰、海上自然环境(如海浪、海雾、反光、抨击等)的干扰和影响、典型海况给无人舰船自身运动和目标运动状态带来的影响、海面上和海水中自然物体和人造目标的相互影响等。

技术实现思路

[0007]本专利技术的目的是针对上述问题，提供一种无人艇航行环境基于多传感器融合的目标识别方法。
[0008]为达到上述目的，本专利技术采用了下列技术方案：
[0009]一种无人艇航行环境基于多传感器融合的目标识别方法，该方法包括：
[0010]S1.接收无人艇光学摄像头拍摄的图像和光学雷达捕获的雷达信号；
[0011]S2.通过时空融合算法对接收图像进行图像处理，随后结合雷达信号将图像输入
至第一识别模型；
[0012]S3.由第一识别模型对输入图像的海洋环境信息进行分类以提取识别目标并识别自然因素；
[0013]S4.将第一识别模型的输出输入至第二识别模型；
[0014]S5.由第二识别模型对各识别目标进行归类以得到目标识别结果；
[0015]S6.通过在前图像的光学雷达信号和在后图像的光学雷达信号，结合无人艇的当前状态判断各识别目标的运动状态；
[0016]S7.根据识别和判断结果输出带分类标记和运动状态的目标识别结果，自此完成多目标识别过程。
[0017]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，步骤S3中，海洋环境信息包括：海浪、潮汐、洋流、海雾、礁石、岛屿、黎明、黄昏、正午、舰船、渔船、灯塔、浮标、沉船中的任意多种组合；
[0018]待识别的目标物体包括所述的礁石、岛屿、舰船、渔船、灯塔、浮标、沉船中的任意一种或多种的组合。
[0019]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，步骤S5中，根据各识别目标的类别判断其属于固定类目标、移动类目标或相对固定类目标；
[0020]步骤S6中，根据对各识别目标的运动状态判断结果核对识别目标的类别识别结果，若核对所有识别目标识别结果无误，则进入步骤S7，否则，将核对有误的识别目标进行标记输出，其余识别目标按照步骤S7输出。
[0021]例如岛礁和灯塔是固定目标，浮标是在一定范围内的相对固定目标，渔船和舰船是移动目标。工作人员进行人工识别，可以将人工识别结果作为识别目标的标签输入第二识别模型进行再次分类以不断提高模型精确分类能力。
[0022]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，步骤S7中，针对被识别为舰船的识别目标使用舰船所属识别模型进一步识别舰船所属国。
[0023]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，当识别到海洋环境信息中存在海雾或其他导致低照度问题的海洋环境信息时，对输入图像进行去雾及低照度修正处理。
[0024]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，所述的去雾处理方法如下：
[0025]S111.对输入图像提取前0.01％的像素作为候选区域；
[0026]S112.读取候选区域连通分量的个数，选取连通分量像素个数最多的连通分量作为大气光值估计的候选区域；
[0027]S113.选择候选区域中最大亮度值作为该区域总体大气光值A。
[0028]本方案提取暗通道中像素个数为0.01％，在面对雾气较浓的海面场景也能够具有较好的大气光值估计效果。
[0029]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，所述的低照度修正处理方法如下：
[0030]S121.从多尺度Ret inex提升图像亮度、得到反射分量；
[0031]S122.采用引导滤波和高频提升对图像的反射分量进行细节增强；
[0032]S123.运用全局低秩分解算法去除稀疏噪声，可以有效消除低照度图像中的噪声，同时也能消除高频提升过程中产生的噪声。
[0033]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，步骤S2中，时空融合算法对接收图像进行图像处理的过程如下：
[0034]A.通过SSD检测算法进行图像检测得到所需的空间信息；
[0035]B.利用KCF跟踪算法对水面目标进行跟踪得到所需的时间信息；
[0036]C.融合空间信息和时间信息得到最终的处理图像。
[0037]在上述的无人艇航行环境基于多传感器融合的目标识别方法中，A中，空间信息的提取方法具体如下：
[0038]A1.将输入图像由基础网络经过迭代卷积充分提取特征；
[0039]A2.通过附加网络对图像进行进一步的特征提取与分析，利用卷积预测其进行目标位置偏移量的预测和分类；
[0040]A3.用非极大值抑制方法去除冗余，得到所需的空间信息；
[0041]B中，时间信息的提取方法如下：
[0042]B1.对当前帧图像进行初始化并对其进行特征提取，随后进行模型训练得到滤波器模板；
[0043]B2.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，该方法包括：S1.接收无人艇光学摄像头拍摄的图像和光学雷达捕获的雷达信号；S2.通过时空融合算法对接收图像进行图像处理，随后结合雷达信号将图像输入至第一识别模型；S3.由第一识别模型对输入图像的海洋环境信息进行分类以提取识别目标并识别自然因素；S4.将第一识别模型的输出输入至第二识别模型；S5.由第二识别模型对各识别目标进行归类以得到目标识别结果；S6.通过在前图像的光学雷达信号和在后图像的光学雷达信号，结合无人艇的当前状态判断各识别目标的运动状态；S7.根据识别和判断结果输出带分类标记和运动状态的目标识别结果。2.根据权利要求1所述的无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，步骤S3中，海洋环境信息包括：海浪、潮汐、洋流、海雾、礁石、岛屿、黎明、黄昏、正午、舰船、渔船、灯塔、浮标、沉船中的任意多种组合；待识别的目标物体包括所述的礁石、岛屿、舰船、渔船、灯塔、浮标、沉船中的任意一种或多种的组合。3.根据权利要求1所述的无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，步骤S5中，根据各识别目标的类别判断其属于固定类目标、移动类目标或相对固定类目标；步骤S6中，根据对各识别目标的运动状态判断结果核对识别目标的类别识别结果，若核对所有识别目标识别结果无误，则进入步骤S7，否则，将核对有误的识别目标进行标记输出，其余识别目标按照步骤S7输出。4.根据权利要求2或3所述的无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，步骤S7中，针对被识别为舰船的识别目标使用舰船所属识别模型进一步识别舰船所属国。5.根据权利要求2所述的无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，当识别到海洋环境信息中存在海雾或其他导致低照度问题的海洋环境信息时，对输入图像进行去雾及低照度修正处理。6.根据权利要求5所述的无人艇航行环境基于多传感器融合的目标识别方法，其特征在于，所述的去雾处理方法如下：S111.对输入图像提取前0.01％的像素作为候选区域；S112.读取候选区域连通分量的个数，选取连通分量像素个数最多的连通分量作为大气光值估计的候选区域；S113.选择候选区域中最大亮度值作为该区域总体大气光值A。7.根据权利要求6所述的无人艇航行环境基于多传感器融合的目标识别方法，其特...

【专利技术属性】
技术研发人员：王涛，黄晓明，李冰，
申请(专利权)人：浙江原索数字科技有限公司，
类型：发明
国别省市：