【技术实现步骤摘要】
本专利技术属于人工智能与声纳数据仿真的，具体涉及一种基于生成对抗网络的声纳数据仿真生成方法。
技术介绍
1、我国拥有近两万公里长的海岸线和300万平方公里的海洋国土，海洋资源非常丰富。近年来，随着现代水声信号处理技术和水声设备研发技术的巨大进步，水下声纳数据相关的处理与分析技术已成为国内外研究的热点，并且在军事和民事等领域具有广泛的应用。
2、声纳技术是目前水下探测、监测和通讯的主要手段之一。与传统的光学探测技术不同，声波在水中传播的速度远远高于光波，能够穿透海水深度较大的区域，具有深度大、范围广、成本低等优点，因此在军事、民用、海洋资源开发等领域都有着广泛的应用。
3、声纳数据的采集由于成本高等因素往往受到限制，这是一个在海洋学、地质学、军事和水下资源勘探等领域广泛应用的技术。然而，声纳数据采集过程中涉及昂贵的设备和大规模的海洋或水下操作，导致成本居高不下。首先，声纳传感器的制造和维护需要大量的投资，包括高性能的超声波传感器和复杂的数据记录设备。其次，声纳设备通常需要进行水下操作，这需要专业的潜水人员和水下船只，这些方面的人员和设备也都需要大量的资金投入。正是因为声纳数据采集的成本高昂和复杂性，声纳仿真变得至关重要。
4、声纳数据仿真是指通过计算机模拟声纳信号的传播、反射、散射等物理过程，生成虚拟的声纳数据。在海洋工程、水下探测等领域中，声纳数据仿真技术被广泛应用。现有的声纳数据仿真方法主要是基于物理建模的方法，这种方法需要对物理过程进行详细建模，计算量大、耗时长、难以适应复杂情况。因此，研
5、因此，研究声纳仿真生成技术，对于提高声纳数据处理的精度和效率，满足海洋资源勘探、海洋环境监测、军事目标探测等领域的需求具有重要的现实意义和应用价值。
6、生成对抗性网络(gans)(goodfellow等人，2014)是一种将低维潜在向量映射到高维数据的无监督策略。gans模型的核心思想在于对抗训练，通过生成器和判别器的相互对抗，使得生成器逐渐学习到真实数据的分布规律，从而生成更加逼真的数据。gan模型的一个重要特点是可以生成全新的数据样本，而不仅仅是复制已有数据。
7、基于gan的音频合成方法的潜在优势是多方面的。首先，gans可以用于数据饥饿语音识别系统中的数据增强(shrivastava等人，2017)。其次，gans可以实现对大量音频的快速而直接的采样。此外，虽然用gans生成静态图像的有用性是有争议的，但对于许多应用(例如foley)，生成声音效果是立即有用的。但是，尽管gans在合成图像时的保真度越来越高(radford等人，2016；bertelot等人，2017；karras等人，2018)，但尚未证明gans能够在无监督的环境中合成音频。
8、将图像生成gans应用于音频的一个简单解决方案是在类似图像的频谱图上操作它们，即音频的时频表示。这种用于音频任务的自举图像识别算法的做法在判别环境中很常见(hershey等人，2017)。然而，在生成环境中，这种方法是有问题的，因为最具感知能力的频谱图是不可逆的，因此在没有损耗估计(griffin&lim，1984)或学习反演模型(shen等人，2018)的情况下无法收听。
9、工作(van den oord等人，2016；mehri等人，2017；)表明，神经网络可以通过自回归训练来对原始音频进行操作。这样的方法很有吸引力，因为它们省去了工程化的特征表示。然而，与gans不同的是，自回归设置导致生成缓慢，因为输出音频样本必须一次一个地反馈到模型中。yamamoto等人(2019)使用gans来提取生成原始语音音频的自回归模型，然而他们的结果表明，仅对抗性损失不足以生成高质量的波形；它需要一个基于kl发散的蒸馏目标作为关键组成部分。
10、为了解决近年来声纳数据仿真生成的问题，本专利技术提出基于生成对抗网络的声纳数据仿真生成方法。
技术实现思路
1、本专利技术的目的在于提供一种基于生成对抗网络的声纳数据仿真生成方法。
2、该基于生成对抗网络的声纳数据仿真生成方法，包括以下步骤：
3、步骤1、对原始声纳音频数据进行切片处理，获得包括多个声纳切片数据的训练集。
4、步骤2、将声纳切片数据转化为梅尔频谱图。
5、步骤3、构建生成对抗网络模型。
6、步骤4、对生成对抗网络进行训练：
7、步骤5、基于取生成对抗网络的生成器在不同轮次的输出，获得多个不同的合并声纳音频仿真数据。
8、作为优选，步骤5执行后，对合并声纳音频仿真数据进行评价筛选如下：
9、6-1.对合并声纳音频仿真数据、原始声纳音频数据和跨类真实声纳音频数据分别进行特征提取；跨类真实声纳音频数据与原始声纳音频通过相同设备采集，且采集的对象不相同；
10、6-2.提取合并声纳音频仿真数据与原始声纳音频数据的特征的相似度作为正例距离x1，提取合并声纳音频仿真数据与跨类真实声纳音频数据的相似度作为反例距离x2。正例距离x1越小，反例距离x2与正例距离x1的差值越大的合并声纳音频仿真数据越符合要求。
11、6-3.根据正例距离x1和反例距离x2，对各个合并声纳音频仿真数据进行筛选，得到最终的声纳音频仿真数据。
12、作为优选，步骤6-1中，以vggish模型的嵌入层对数据特征提取，获取128维度的特征。
13、作为优选，步骤6-2中，使用两组特征在多元高斯分布中的映射的fréchet距离作为相似度。特征提取过程为将音频数据转换得到的梅尔频谱图依次经过6个卷积层、4个下采样层以及3个全连接层，输出128维度的特征向量。
14、作为优选，每个声纳切片数据对应的时长为10s。
15、作为优选，步骤2的具体过程为：对输入的声纳切片数据使用反射填充方法进行处理后，进行短时傅里叶变换，再使用滤波器组将短时傅里叶变换合并成梅尔倒谱频率；最后对mel频带应用对数变换。
16、作为优选，步骤3中构建的生成对抗网络模型中的生成器以梅尔频谱图作为输入，逐步上采样，共放大256倍。在相邻两次上采样之间加入卷积块，计算频域到时域的变换，最终输出音频数据。
17、作为优选，所述的生成器包括四个上采样层、一个自注意力层、两个残差卷积块，以及分别位于首端和尾端的两个卷积层。上采样层采用反卷积层实现，残差卷积块使用膨胀卷积层增大感受野。
18、作为优选，步骤3中构建的生成对抗网络模型中的判别器采用了多尺度的架构；判别器包括三个鉴别器d1、d2、d3。鉴别器d1、d2、d3具有相同的网络结构，且在不同的音频本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤5执行后，对合并声纳音频仿真数据进行评价筛选如下：
3.根据权利要求2所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤6-1中，以VGGish模型的嵌入层对数据特征提取，获取128维度的特征。
4.根据权利要求2所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤6-2中，使用两组特征在多元高斯分布中的映射的Fréchet距离作为相似度；特征提取过程为将音频数据转换得到的梅尔频谱图依次经过6个卷积层、4个下采样层以及3个全连接层，输出128维度的特征向量。
5.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤2的具体过程为：对输入的声纳切片数据使用反射填充方法进行处理后，进行短时傅里叶变换，再使用滤波器组将短时傅里叶变换合并成梅尔倒谱频率；最后对Mel频带应用对数变换。
6.根据权利要求1所述的一种基
7.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：所述的生成器包括四个上采样层、一个自注意力层、两个残差卷积块，以及分别位于首端和尾端的两个卷积层；上采样层采用反卷积层实现，残差卷积块使用膨胀卷积层增大感受野。
8.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤3中构建的生成对抗网络模型中的判别器采用了多尺度的架构；判别器包括三个鉴别器D1、D2、D3；鉴别器D1、D2、D3具有相同的网络结构，且在不同的音频尺度上运行；鉴别器D1操作在原始音频的尺度上，而鉴别器D2和鉴别器D3分别操作在原始音频下采样2倍和下采样4倍的尺度上。
9.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤4中，训练使用损失函数选择铰链损失函数；训练中加入网络权重的惩罚项；将判别器每层的特征输出取L1范数，作为额外惩罚项loss加入生成器的反向传播中。
10.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤5获得的各个合并声纳音频仿真数据均对应生成时域图和时频图。
...【技术特征摘要】
1.一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤5执行后，对合并声纳音频仿真数据进行评价筛选如下：
3.根据权利要求2所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤6-1中，以vggish模型的嵌入层对数据特征提取，获取128维度的特征。
4.根据权利要求2所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤6-2中，使用两组特征在多元高斯分布中的映射的fréchet距离作为相似度；特征提取过程为将音频数据转换得到的梅尔频谱图依次经过6个卷积层、4个下采样层以及3个全连接层，输出128维度的特征向量。
5.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤2的具体过程为：对输入的声纳切片数据使用反射填充方法进行处理后，进行短时傅里叶变换，再使用滤波器组将短时傅里叶变换合并成梅尔倒谱频率；最后对mel频带应用对数变换。
6.根据权利要求1所述的一种基于生成对抗网络的声纳数据仿真生成方法，其特征在于：步骤3中构建的生成对抗网络模型中的生成器以梅尔频谱图作为输入，逐步上采样...
【专利技术属性】
技术研发人员：孔万增，朱仪迪，王海啸，白植权，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。