本发明专利技术公开了基于多模态融合的海面目标识别方法，涉及目标识别技术领域，该目标识别方法包括以下步骤：步骤一：GAF角场：GAF能够将时间序列数据转换为图像数据，既能保留信号完整的信息，又能保持信号对于时间的依赖性；信号数据转换为图像数据后就可以充分利用2D‑CNN在图像分类识别上的优势，进行提取特征。本发明专利技术所述的基于多模态融合的海面目标识别方法，通过re‑attention改进self‑attention后的BERT能够有效地学习和提取一维HRRP和GAF融合后的序列特征。实验结果表明，Rf‑BERT能够有效地学习HRRP序列中的时间特征，提高雷达HRRP目标的识别性能。
【技术实现步骤摘要】
本专利技术涉及目标识别，特别涉及基于多模态融合的海面目标识别方法。
技术介绍
1、高分辨率宽带雷达的分辨率远小于目标尺寸，雷达目标回波也称为目标的一维高分辨率距离像(high resolution range profile，hrrp)。hrrp是各测距单元中目标散射体的复数时间回波的相干和的振幅，它代表了目标散射中心的复数回波对雷达视线的投影，与传统的合成孔径雷达(synthetic aperture radar，sar)和逆合成孔径雷达(inversesynthetic aperture radar，isar)相比，hrrp具有采集方便、数据量小、处理速度快等优点。hrrp包含丰富的目标结构特征，如目标尺寸、散射体分布等。因此雷达hrrp目标识别受到了雷达自动目标识别(radar automatic target recognition，ratr)界的广泛关注。
2、随着深度学习以其自动特征提取和强大的分类回归能力等优势得到快速发展，越来越多的研究人员关注这种数据驱动的学习方法，期望提高雷达hrrp目标的识别性能。cnn已经成功应用于以hrrp为信息源的ratr。在cnn模型中，1d-cnn用于处理序列，2d-cnn主要用于处理图像。一维距离像除了经过预处理直接用来进行目标识别外，还可以使其转换成图像再进行识别。
技术实现思路
1、本专利技术提供基于多模态融合的海面目标识别方法，以解决充分利用hrrp序列中的目标信息，提高雷达hrrp目标的识别性能的问题。
<
p>2、为解决上述技术问题，本专利技术所采用的技术方案是：3、基于多模态融合的海面目标识别方法，该目标识别方法包括以下步骤：
4、步骤一：gaf角场：gaf能够将时间序列数据转换为图像数据，既能保留信号完整的信息，又能保持信号对于时间的依赖性；信号数据转换为图像数据后就可以充分利用2d-cnn在图像分类识别上的优势，进行提取特征；
5、步骤二：rf-bert网络：利用gaf中的格拉姆角和场(gafs)将一维距离像转化为二维特征图像；然后采用cnn-rebert和2d-resnet18网络模块分别提取一维距离像和二维特征图中的特征信息，并拼接融合成新的特征信息；最后利用注意力层、两个全连接层和softmax输出概率分布，完成目标分类；
6、步骤三：数据与实验分析。
7、优选的，所述步骤一：思想主要来源于线性代数中的格拉姆矩阵(gramianmatrix)的概念；一个由n维欧几里得空间中任何k(k＜n)个向量的内积组成的矩阵被称为gramian matrix；格拉姆矩阵可以反映出向量之间的线性相关性；可以表示为：
8、
9、其中u1，u2，...，uk都是n维向量；每个向量的内积可以表示为：
10、
11、hrrp是各距离单元的组合，可以表示为x＝[x1，x2，...，xn]，其中x代表整个hrrp数据，n代表数据长度；对于hrrp数据，第一步是将x缩放到[-1，1]或[0，1]，分别可以通过公式(3)或(4)实现：
12、
13、或
14、缩放后可以防止内积偏向于原本过大的值；hrrp的gramian matrix可以表示为：
15、
16、由此，可以用极坐标来重新标定hrrp时间序列将数值编码为角余弦，将时间戳编码为半径；公式如下：
17、
18、其中，ti为该点时刻的时间戳，ri是极轴，保留了时序上的关系；为极角，保留了数值上的关系；
19、首先通过公式(3)把hrrp缩放到[-1，1]，然后通过公式(6)把笛卡尔坐标系转换到极坐标系；最后可以通过每一个点之间的三角和或差来利用角度的视角来识别不同时间间隔内的时间相关性，生成一个保持时间依赖性的类格拉姆矩阵(gramian-like matrix)；有格拉姆和角场(gasf)和格拉姆差角场(gadf)两种方法生成矩阵，定义如下：
20、
21、
22、通过gaf算法，将一维hrrp转换成了二维图像，从而将计算机视觉方向的技术运用到hrrp的研究。
23、优选的，所述步骤二包括以下：
24、a1：resnet-18：resnet通过残差(residual)结构来减轻深层网络中的退化问题；
25、cnn-rebert模块：在resnet中，一个残差块可以表示为：
26、y＝f(x，{wi})+x (9)
27、其中，x和y是所考虑的各层的输入和输出向量，wi是权重矩阵，f是残差函数；f可以如下表示：
28、f＝w2g(w1x+b1)+b2 (10)
29、其中w1，w2是权重矩阵，b1和b2是偏置，g表示激活函数relu；
30、a2：cnn-rebert模块：在cnn-rebert模块中，首先对输入的一维hrrp增加通道数到512，利用一个1×5的卷积核进行一维卷积；一方面，提取的序列特征较好地保留了hrrp中的局部结构信息；另一方面，卷积核的维度和通道数分别独立地控制特征的维度和序列长度，实现了二者的解耦，提高了整个网络对hrrp数据的表征能力；此外，卷积核的大小和步幅可控，避免了固定位置约束，增强了网络初期的表达能力；采用位置编码(positionalembedding)为一维距离像加入时序信息，避免了循环结构难以并行计算的问题；在cnn-rebert总共堆叠了4层rebert模型，即nbert＝4，利用bert模块中的8个多头注意力和前向连接模块，有效提取雷达了hrrp特征，为分类网络提供更好的输入；
31、a3：超参数。
32、优选的，所述a2包括以下：
33、a21：自注意力机制：自注意力机制可使用矩阵乘法并行计算，具有速度更快、更具有空间效率的特点；
34、对位置编码(positional encoding)后的序列特征femb分别进行三次变换，得到dq维的查询矩阵q、dk维的键矩阵k和dv维的值矩阵v：
35、q＝fembwq
36、k＝fembwk
37、v＝fembwv
38、其中dq＝dk；dmodel是输入序列特征的长度；
39、q和k相乘产生注意力图(attention map)，代表每一层内所有token之间的相关性；再除以缩放因子最后通过softmax函数获得v的注意力权重，其公式为：
40、
41、a22：多头自注意力机制：hrrp数据具有典型的多子空间分布结构，可以从多个子空间获取目标结构信息；利用多头注意力机制将输入映射到多个子空间，从多个维度深度提取有助于识别的信息；将矩阵q、矩阵k和矩阵v分别进行h次线性投影，即是将其投影到h个不同的子空间，分别计算；然后所有计算结果进行拼接，最后进行本文档来自技高网
...
【技术保护点】
1.基于多模态融合的海面目标识别方法，其特征在于：该目标识别方法包括以下步骤：
2.根据权利要求1所述的基于多模态融合的海面目标识别方法，其特征在于：所述步骤一：思想主要来源于线性代数中的格拉姆矩阵的概念；一个由n维欧几里得空间中任何k(k<n)个向量的内积组成的矩阵被称为Gramian matrix；格拉姆矩阵可以反映出向量之间的线性相关性；可以表示为：
3.根据权利要求1所述的基于多模态融合的海面目标识别方法，其特征在于：所述步骤二包括以下：
4.根据权利要求3所述的基于多模态融合的海面目标识别方法，其特征在于：所述A2包括以下：
5.根据权利要求3所述的基于多模态融合的海面目标识别方法，其特征在于：所述A3包括以下：
6.根据权利要求1所述的基于多模态融合的海面目标识别方法，其特征在于：所述步骤三包括以下：
【技术特征摘要】
1.基于多模态融合的海面目标识别方法，其特征在于：该目标识别方法包括以下步骤：
2.根据权利要求1所述的基于多模态融合的海面目标识别方法，其特征在于：所述步骤一：思想主要来源于线性代数中的格拉姆矩阵的概念；一个由n维欧几里得空间中任何k(k<n)个向量的内积组成的矩阵被称为gramian matrix；格拉姆矩阵可以反映出向量之间的线性相关性；可以表示为：
3....
【专利技术属性】
技术研发人员：但波，满明来，杨林，高山，宋伟健，杨富程，宋树成，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。