【技术实现步骤摘要】
本专利技术涉及海上安全信息，特别是一种基于多模态融合网络的海上安全信息智能决策支持方法。
技术介绍
1、海上运输过程中，船舶上均安装大量传感器采集助航信息来保障航行安全，包括航行ais的经纬度信息、navtex的文本信息、电子海图的矢量信息和光栅信息、以及视频图像的rgb信息和hog信息等多模态海上安全信息。因此，充分提取且高效融合多模态海上安全信息，进而为航行提供智能决策支持对安全保障至关重要。但目前采用单一模型提取多模态信息特征并简单应用拼接进行特征融合存在可靠性及数据完整性不足等问题，尚未做到全面和准确地利用实时助航信息。因此，尽管船舶安装相应的助航设备，但对航海人员的依赖程度仍未得到缓解。航海人员仍需通过对采集到的多模态海上安全信息进行人工提取来对船舶航行状态的不确定性进行判断，并最终作出相应决策从而保障航行安全。
2、针对上述问题，目前在处理多模态海上安全信息的相关研究中，对于多模态海上安全信息特征提取方面仅采用单一的模型对采集到的多模态数据进行了颗粒度较低地提取，未结合每类信息特点基于适合的模型采用并行网络进行更深层地提取；特征融合部分也只将拼接融合进行简单应用，未结合注意力机制进行更加有效地融合；且结果输出方式单一，未形成多模式输出从而使船员更加易于理解，并能够迅速决策。因此，需要一种方法对多模态海上安全信息进行充分提取且有效融合并提供给航海人员智能化航行决策支持，提高工作效率，同时也进一步增强了船舶的航行安全、丰富了助航功能。
技术实现思路
1、为解决现
2、为了实现上述目的，本专利技术的技术方案如下：基于多模态融合网络的海上安全信息智能决策支持方法，包括以下步骤：
3、s1、构建接收多模态数据输入的多模态融合网络
4、s11、构建多模态网络
5、s111、构建时间序列网络即tsn
6、采用长短期记忆的门控神经网络，处理具有时间序列特性的航迹数据即ais数据iais和电子海图显示与信息系统即ecdis数据iecdis中的矢量信息vector数据ivector，处理公式如下：
7、otsn＝tsn(iais,ivector)
8、其中，otsn为tsn的输出，iais和ivector为tsn的输入，tsn为基于长短期记忆门控神经网络结构的函数。
9、s112、构建文本卷积网络即t-cnn
10、采用文本向量化的卷积神经网络，处理具有上下文相关的navtex报文数据inavtex，处理公式如下：
11、ot-cnn＝t-cnn(inavtex)
12、其中，ot-cnn为t-cnn的输出，inavtex为t-cnn的输入，t-cnn为基于文本卷积网络结构的函数。
13、s113、构建图像卷积网络即i-cnn
14、采用图像数值化的卷积神经网络，处理视频图像即image数据iimage中的像素rgb数据irgb和ecdis数据iecdis中具有图像特征的光栅raster数据iraster，处理公式如下：
15、oi-cnn＝i-cnn(irgb,iraster)
16、其中，oi-cnn为i-cnn的输出，irgb和iraster为i-cnn的输入，i-cnn为基于图像卷积网络结构的函数。
17、s114、构建时序图像卷积网络即ticn
18、采用时空融合的卷积神经网络，处理image数据iimage中具有时空关联的梯度方向直方图hog数据ihog，处理公式如下：
19、oticn＝ticn(ihog)
20、其中，oticn为ticn的输出，ihog为ticn的输入，ticn为基于时序卷积网络结构的函数。
21、s12、对多模态数据进行预处理
22、所述多模态数据包括ais数据iais、navtex报文数据inavtex、电子海图数据iecdis和视频图像数据iimage。
23、s121、对ais数据iais进行预处理
24、ais数据iais包括船舶航行的经度longitude、纬度latitude、航速speed和航向course，通过构建以下4元组：
25、iais(k)＝(longitude(k),latitude(k),speed(k),course(k))
26、以得到时间序列网络tsn的输入iais＝{iais(1),iais(2),…,iais(k),…,iais(t)}，其中，iais(k)表示iais中的第k个时刻对应的ais数据，t为iais预处理后的数据总长度；
27、s122、对navtex报文数据inavtex进行预处理
28、navtex报文数据inavtex以文本形式进行存储，为使inavtex被t-cnn使用，采用文本向量化的方式，将inavtex转化为向量化数据作为文本卷积网络t-cnn的输入，公式为：
29、inavtex＝{word1,word2,…,wordi,…,wordl}
30、其中，l表示inavtex预处理后词语的数目，wordi表示第i个词在navtex报文中的独热编码；
31、s123、对电子海图数据iecdis进行预处理
32、iecdis以矢量数据ivector和光栅数据iraster的形式存储，分别作为时间序列网络tsn的输入ivector和图像卷积网络i-cnn的输入iraster，公式如下：
33、ivector＝{ivector(1),ivector(2),…,ivector(k),…,ivector(t)}
34、iraster＝{iraster(1),iraster(2),…,iraster(j),…,iraster(m)}
35、其中，ivector(k)表示ivector中第k个时刻对应的矢量数据，t为ivector预处理后的数据总长度，iraster(j)表示iraster中第j个光栅数据，m表示iraster预处理后光栅图像的数目；
36、s124、对视频图像数据iimage进行预处理
37、视频图像数据iimage以rgb数据irgb和hog数据ihog的形式存储，分别作为图像卷积网络i-cnn的输入irgb和时序图像卷积网络ticn的输入ihog，公式如下：
38、irgb＝{irgb(1),irgb(2),…,irgb(j),…,irgb(m)}
39、ihog＝{ihog(1本文档来自技高网...
【技术保护点】
1.基于多模态融合网络的海上安全信息智能决策支持方法，其特征在于：包括以下步骤：
【技术特征摘要】
1.基于多模态融合网络的海上安全信息智能...
【专利技术属性】
技术研发人员：左毅，李心宇，佟绍成，李铁山，陈俊龙，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。