【技术实现步骤摘要】
本专利技术涉及一种多传感装置融合远距离疑似目标识别方法。
技术介绍
1、目前，船舶在海上航行时人工瞭望仍难以取代。尽管现有的航海雷达系统可以对还是目标进行一定程度上的识别，但由于复杂海洋环境的干扰以及目标航行态势对反射面的影响，完全依赖雷达来稳定地识别及踪远距离目标仍不可靠，而尽管当前广泛应用于自动驾驶机动车的计算机视觉技术可以一定程度上克服上述干扰，但其识别率对距离更为敏感因此难以适用于远洋航运场景。此外，现有的多传感装置融合识别技术需要大量的后期数据标注为支撑因而在海洋领域进展缓慢，而且这并不能从根本解决各传感装置因距离产生的信息丢失问题。
2、当前装备无人化的趋势势不可挡，而航海领域正经历着有人船转向远程操控无人船的变革过程。远程操控无人船上所搭载的ptz相机模组集成了高倍可变焦相机、红外相机和激光测距仪，最大可对10公里外目标进行清晰观测，并能实现全天24小时工作。
3、尽管ptz相机模组可以实现远程遥控无人船的瞭望功能，但目前尚未被运于自主无人装备领域。
技术实现思路
1、本专利技术的目的在于克服现有技术中存在的上述不足，而提供一种结构设计合理的多传感装置融合远距离疑似目标识别方法，利用ptz相机模组对疑似目标进行聚焦观测、确认与跟踪，从而精确识别海上远距离目标。
2、本专利技术解决上述问题所采用的技术方案是：一种多传感装置融合远距离疑似目标识别方法，其特征在于：包括如下步骤：
3、a、海上疑似目标的筛选定位模型的训练，包括
4、1.传感装置的设置：
5、传感装置包括雷达，以及固定视角相机和ptz相机模组；雷达、固定视角相机和ptz相机模组均设置于无人船上；通过雷达探测得到无人船船体四周的全景雷达图像；通过固定视角相机拍摄船周全景图像；
6、2.数据记录与训练数据的挖掘；
7、在远程遥控无人船在远海航行过程中，船上各传感装置将实时记录所有感知数据；当在雷达或固定视角相机的图像上发现远处可疑影像时，操作ptz相机模组对该方位进行搜索，并在发现目标后对目标进行照准并放大观察，而ptz相机模组中的激光测距仪实时测录准星处的物体距离；在无人船回到母港后，这些传感装置数据将被下载并进行离线处理，用于训练海上疑似目标的筛选定位模型；
8、3.构建海上疑似目标的筛选定位模型；
9、4.对筛选定位模型进行训练；
10、b、自主瞭望系统工作流程，包括如下步骤：
11、1.将实时记录的全景雷达图像和船周全景图像输入海上疑似目标的筛选定位模型，筛选定位模型输出疑似目标的方位和距离；
12、2.ptz相机模组顺时针旋转对模型输出的方位和距离处逐个聚焦放大观测，如果筛选定位模型的输出中并未出现任何目标，则回到步骤b-1；
13、3.当ptz相机变焦放大过程中，画面帧实时输入海洋物体图像检测模型，如果海洋物体图像检测模型识别出画面中物体，引导ptz相机模组转向直至所识别出的物体居中；
14、当目标居ptz画面中心时，利用激光测距仪测距，并测算目标尺寸，并将目标信息加入航行态势图中；
15、如果所识别出的物体为重要目标时，ptz相机模组锁定该目标并持续跟踪；
16、如果ptz相机变焦达到某最大值时海洋物体图像检测模型仍未识别出任何目标，则变焦缩小并转向下一目标位置并重复步骤b-3；如没有其它目标则至步骤b-4；
17、4.ptz相机回正，并回到步骤b-1。
18、本专利技术所述的雷达具有s波段、x波段和ka波段。
19、本专利技术所述的雷达设置于无人船船体制高点；无人船的左舷、右舷、船首、船尾的等高处分别设置固定视角相机，将所有固定视角相机拍摄的图像拼接后形成船周全景图像，
20、本专利技术步骤a-2中，传感装置数据具体处理方法如下：
21、(1)筛选出ptz相机模组收到操作信号前t1分钟到操作信号停止后t2分钟的全部传感装置的影像数据，ptz相机模组对多个目标进行确认时，操作间隔小于t3分钟则算作同一数据点；
22、(2)利用海洋物体图像检测模型对筛选出的影像数据进行分析；在输入筛选出的影像数据后，所输出的序列中画面中心分区所述类别为有可识别目标种类时，则记录该时间点全部传感装置数据，用于训练海上疑似目标的筛选定位模型；没有则不予采用，或可以作为负样本，用于筛选定位模型的对比学习。
23、本专利技术步骤a-4的筛选定位模型训练时：
24、(1)训练过程中，输入序列为所述步骤a-2传感装置数据，以及输入固定提示词模板文字任务说明所拼合而成的上文，输出序列为ptz相机顺时针水平转向角、ptz激光测距仪读数和输出固定提示词模板文字任务说明所拼合而成的上文；
25、(2)训练过程中将输入与输出固定提示词模板中的信息插入，然后将输入、输出序列首位拼接，再将图像和文字转换为特征向量的序列：
26、(3)运用预测概率分布与真实输出计算交叉熵作为损失函数；
27、(4)根据损失函数通过反向传播调整模型参数，直至模型收敛。
28、本专利技术所述的筛选定位模型基于transformer架构进行构建。
29、本专利技术步骤b-3中，引导方法为：
30、根据海洋物体图像检测模型输出的该分区候选框信息xc、yc、h、w，其中xc、yc为选取框中心像素坐标值，h和w为高度和宽带，计算：
31、
32、其中xt，yt，zt为目标在世界坐标系中的坐标，r、t分别为ptz相机相对于世界坐标系的旋转与平移矩阵，其中f为焦距，width和height分别为该焦距下元底宽度与高度，xc0和yc0为画面中心点像素坐标；设无人船在世界坐标系中位置为(xb，yb)，则ptz相机需要调整至处。
33、本专利技术步骤b-1中，筛选定位模型输出的为ptz相机顺时针水平转向角和ptz激光测距仪读数，ptz相机顺时针水平转向角即为疑似目标的方位，距离即为ptz激光测距仪读数即为疑似目标的距离。
34、本专利技术与现有技术相比，具有以下优点和效果：本专利技术利用ptz相机模组对疑似目标进行聚焦观测、确认与跟踪，从而精确识别海上远距离目标，以建立无人船运行环境态势感知，保障船舶的安全以及航行任务顺利完成。
本文档来自技高网...【技术保护点】
1.一种多传感装置融合远距离疑似目标识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：所述的雷达具有S波段、X波段和Ka波段。
3.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：所述的雷达设置于无人船船体制高点；无人船的左舷、右舷、船首、船尾的等高处分别设置固定视角相机，将所有固定视角相机拍摄的图像拼接后形成船周全景图像。
4.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：步骤a-2中，传感装置数据具体处理方法如下：
5.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：步骤a-4的筛选定位模型训练时：
6.根据权利要求5所述的多传感装置融合远距离疑似目标识别方法，其特征在于：所述的筛选定位模型基于Transformer架构进行构建。
7.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：步骤b-3中，引导方法为：
8.根据权利要求1所述的多传感装置
...【技术特征摘要】
1.一种多传感装置融合远距离疑似目标识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：所述的雷达具有s波段、x波段和ka波段。
3.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：所述的雷达设置于无人船船体制高点；无人船的左舷、右舷、船首、船尾的等高处分别设置固定视角相机，将所有固定视角相机拍摄的图像拼接后形成船周全景图像。
4.根据权利要求1所述的多传感装置融合远距离疑似目标识别方法，其特征在于：步骤a-2中，传感装置数据具体处理方法如下：
5.根据权利要求1所述的多...
【专利技术属性】
技术研发人员：沈敏行，王宇婷，何况，周巨栋，
申请(专利权)人：浙江省智能船舶研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。