一种基于增强现实的船舶航行态势感知方法技术

本发明专利技术公开了一种基于增强现实的船舶航行态势感知方法，包括以下步骤：位于船艏的网络摄像头将实时拍摄本船航行路线前方的视频图像传输至计算机；组播/广播将雷达融合识别信息和海图标记信息传输至计算机；计算机对接收到的视频图像进行解析，利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标，将目标船只的虚拟三维坐标与雷达融合识别信息中的实际三维坐标进行比对，得到目标船只的虚实坐标转换的映射关系；根据所述目标船只的虚实坐标转换的映射关系将所述目标船只的三维虚拟模型映射叠加在视频图像中，同时海图标记信息也叠加在视频图像中。本发明专利技术基于混合三维注册技术实现导航数据和真实场景的叠加，实现多种信息同时、直观的展现。直观的展现。直观的展现。

【技术实现步骤摘要】
一种基于增强现实的船舶航行态势感知方法


[0001]本专利技术涉及船舶导航增强现实
，尤其涉及一种基于增强现实的船舶航行态势感知方法。

技术介绍

[0002]增强现实(Augmented Reality，简称AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，从而将真实世界信息和虚拟世界信息“无缝”集成。这种技术的目标是在显示屏幕上将虚拟世界和现实世界进行融合互动，有三个突出特点：(1)真实世界和虚拟世界的信息集成；(2)具有实时交互性；(3)可在三维尺度空间中增添定位虚拟物体。目前，增强现实技术已广泛应用在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域。
[0003]在船舶导航领域，现实增强导航系统能够在平板电脑或屏幕上显示某只船舶的计划航线上的其它船舶信息以及周围海域和其他海况的信息(例如浅水区)等。将来自船舶自动识别系统(AIS)信息、雷达信息以及驾驶台摄像机的实时视频图像相融合。作为航运大国，目前，国内针对船舶导航现实增强的研发尚数空白，本专利技术自主研发具有完全知识产权的船舶增强现实导航系统。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于增强现实的船舶航行态势感知方法，用以解决上述
技术介绍
中存在的问题。
[0005]一种基于增强现实的船舶航行态势感知方法，包括以下步骤：
[0006]S1,网络摄像头实时拍摄本船航行路线前方的视频图像并将视频图像通过网络传输至计算机；
[0007]S2，组播/广播获取雷达融合识别信息和海图标记信息并通过网络传输至计算机；
[0008]S3，计算机的视频处理模块对接收到的视频图像进行解析，利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标，将目标船只的虚拟三维坐标与雷达融合识别信息中的实际三维坐标进行比对，得到目标船只的虚实坐标转换的映射关系；
[0009]S4，根据所述目标船只的虚实坐标转换的映射关系将所述目标船只映射叠加在视频图像中，同时海图标记信息也叠加在视频图像中。
[0010]优选地，所述步骤S3中利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标的具体步骤为：
[0011]首先，利用已训练好的卷积神经网络对视频图像进行高维特征提取，得到多个不同尺度的特征图；
[0012]然后，使用多尺度分支网络对相应尺度下的特征图进行特征聚合处理并将处理后的图像特征传递到检测分类器；
[0013]检测分类器对接收到的图像特征进行预测，判断出边界框位置和边界框内的船舰
类别，获取到目标船只的虚拟三维坐标。
[0014]优选地，所述雷达融合识别信息包括目标船只距离本船的距离、目标船只对地航速、目标船只与本船的最小相遇距离、目标船只到达预计相遇最近点的时间、目标船只经过本船船头的距离、目标船只经过本船船头的时间、目标船只的经纬度、目标船只的AIS信息。
[0015]优选地，所述目标船只的AIS信息包括目标船只的船型、MMSI、呼号与船名、长度与宽度。
[0016]优选地，还包括步骤S5，当视频图像中的目标船只进入本船船只的警戒区、或目标船只到达预计相遇最近点的时间小于设定值、或目标船只与本船的最小相遇距离小于设定值时，计算机发出报警指令。
[0017]优选地，所述海图标记信息包括当前海域的水深、航路点、不可航区域、导航站、浮标、安全边界线、海岸线、陆标。
[0018]本专利技术的有益效果是：
[0019]本专利技术的方法弥补了国内船舶导航现实增强
的研发空白，在船舶导助航中使用AR技术，将原先由船舶驾驶员负责分析和处理的大量信息通过AR分析合成系统进行数据处理，然后与后台基本参数相融合，将处理后的结果增强显示在驾驶员面前的屏幕上，以实现多种信息同时且直观的增强展现。
[0020]同时，本专利技术的方法基于混合三维注册技术实现了导航数据和真实场景的叠加，并接入了目标识别和智能碰撞的数据，达到虚实融合的目的，提高数据观测的便利性和直观性。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0022]图1是船舶航行态势感知系统的构成图。
[0023]图2是计算机内数据处理系统的层次图。
[0024]图3是利用机器学习技术从视频图像中提取虚拟三维坐标的示意图。
具体实施方式
[0025]为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。
[0026]应当明确，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0027]下面通过具体的实施例并结合附图对本申请做进一步的详细描述。
[0028]本专利技术给出一种基于增强现实的船舶航行态势感知方法，该方法弥补了国内船舶导航现实增强
的研发空白，在船舶导助航中使用AR技术，将原先由船舶驾驶员负责分析和处理的大量信息通过 AR分析合成系统进行数据处理，然后与后台基本参数相融合，将处理后的结果增强显示在驾驶员面前的屏幕上，以实现多种信息同时且直观的增强
展现。
[0029]具体地，船舶航行态势感知系统由一台网络高清摄像头、一台或多台AR显示控制台(即计算机)组成，网络高清摄像头与AR显示控制台之间通过以太网交换机进行通信，同时AR显示控制台也通过太网交换机与外部数据服务单元进行通信。
[0030]外部数据服务单元主要包括四类，分别是目标融合识别信息单元、电子海图标记单元、本船传感器信息单元，避碰信息单元。每种单元按固定的格式传递信息；除网络通信协议格式严格约定外，对各信息输入单元的实体形态无要求，只要该单元能将数据以网络组播或广播的形式发送到局域网中即可。所有数据均通过网络交换机进行交换与传输，交换机起数据枢纽的作用，是整个船舶航行态势感知系统数据流、信息流和控制流的汇集节点。AR显示控制台与摄像头、五类信息输入单元之间是单向通信的关系，控制台是信息的接收方，其他单元是信息的发送方。
[0031]网络摄像头采用固定焦距/固定安装方式，用于实时获取本船航行路线前方的视频图像。本实施例中，网络摄像头选用海康威视POE 供电网络摄像头。
[0032]AR显示控制台(即计算机)担负叠加展示及人机交互的功能， AR显示控制台配备有大型显示屏，叠加显示网络摄像头实时传输的视频图像及各种外部数据服务单元发送过来的信息，并配备有语音输入输出设备，支持用户语音命令控制及报警提醒功能。如部署多套 AR显示控制台，各AR显示控制台之间是独立关系，无主从之分。
[0033]AR显示控制台主要由以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的船舶航行态势感知方法，其特征在于，包括以下步骤：S1,网络摄像头实时拍摄本船航行路线前方的视频图像并将视频图像通过网络传输至计算机；S2，组播/广播获取雷达融合识别信息和海图标记信息并通过网络传输至计算机；S3，计算机的视频处理模块对接收到的视频图像进行解析，利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标，将目标船只的虚拟三维坐标与雷达融合识别信息中的实际三维坐标进行比对，得到目标船只的虚实坐标转换的映射关系；S4，根据所述目标船只的虚实坐标转换的映射关系将所述目标船只的三维虚拟模型叠加在视频图像中，同时海图标记信息也叠加在视频图像中。2.根据权利要求1所述的基于增强现实的船舶航行态势感知方法，其特征在于，所述步骤S3中利用机器学习技术从解析后的视频图像中提取出目标船只的虚拟三维坐标的具体步骤为：首先，利用已训练好的卷积神经网络对视频图像进行高维特征提取，得到多个不同尺度的特征图；然后，使用多尺度分支网络对相应尺度下的特征图进行特征聚合处理并将处理后的图像特征传递到检测分类器；检测分类器对接收到的图像...

【专利技术属性】
技术研发人员：胡文妹，张启明，耿建宁，韩庆楠，杨树仁，杨昊，
申请(专利权)人：中船航海科技有限责任公司，
类型：发明
国别省市：