一种基于一维卷积神经网络的复杂声音识别方法技术

本发明专利技术公开了一种基于一维卷积神经网络的复杂声音识别方法，对复杂声音采用随机补齐算法处理，将原始数据填充至同一长度，用于一维卷积神经网络的输入；并在一维卷积神经网络的基本框架嵌入预加重模块和简化的注意力机制模块，所述预加重模块置于一维卷积神经网络的输入部分，用于对输入数据进行预加重和参与网络模型调优，所述简化的注意力机制模块置于一维卷积神经网络的深层，利用全局平均池化和sigmoid函数得到带有注意力的全局特征。通过本发明专利技术的方法优化网络模型，获得良好的识别效果。果。果。

【技术实现步骤摘要】
一种基于一维卷积神经网络的复杂声音识别方法


[0001]本专利技术属于音频处理
，涉及复杂声音识别技术，特别涉及一种基于一维卷积神经网络的复杂声音识别方法。

技术介绍

[0002]复杂声音指环境中的非语言类声音，声源复杂且多样、信号本身具有非平稳性并且时常伴随极具干扰的背景噪声等，使得不同的声音场景的声音特征不够明显或者特征相似度非常高，复杂声音识别能够自动识别环境中复杂声音的具体种类，如小孩玩耍、汽车鸣笛和街头音乐等。在声音分类领域，诸如语音分类和音乐分类已经达到了非常高的准确率，但是在复杂声音识别领域中由于信号本身的非平稳性，语音或音乐分类方案显然不适合于解决此类问题，因此需要提出一种有效的针对复杂声音的识别模型。
[0003]目前结合神经网路解决复杂声音分类问题上，根据输入数据的不同主要有三种方法：基于原始信号、人工特征和多种输入数据。第一种是直接使用原始信号进行网络训练，这种方法的优点是不需要人工对信号进行特征提取，极大简化操作流程，模型简单方便普及；第二种方法是对原始数据进行处理，人工提取声音信号的某些特征，如频谱图和梅尔频率倒谱系数等，这种方法的优点是针对某些数据集准确率较高，但是泛化能力差，模型很难改变后续的识别结果。第三种是多输入的复杂网络，将原始声音信号和人工提取的特征共同作为网络的输入部分，优点是能够结合信号的原始特征(时序特征)和频域特征，弥补了单一数据特征不足的缺陷，但是该类模型比较复杂，对平台的硬件要求很高，不方便应用。
[0004]基于原始音频信号的深度学习模型被许多学者用来解决复杂声音识别问题，例如Dai等人提出的基于一维卷积神经网络的复杂声音识别模型，取得了较好的识别准确率。但是由于深度学习模型很难有效提取原始信号的特征，并且现有技术提出的模型较为复杂，需要进一步优化。因而基于原始音频信号解决复杂声音问题是一个非常大的挑战。为达到好的识别效果，现有的方案中还存在以下问题：
[0005](1)原始数据不一致的问题
[0006]在实际的数据处理过程中存在一些数据集(如UrbanSound8K数据集和实际环境采集的数据)中的音频时长不一致的情况，而一维卷积神经网络模型要求固定的输入数据长度，因此需要使用数据填充，常用的数据填充方法有三次样条插值、补零法等。数据集中会存在许多音频时长和目标长度相差很大，例如实际时长是1秒，目标长度是4秒，显然三次样条插值已经不适用此种情况，而补零方法过于简单，数据会丢失很多的信息，而且填充的零越多还可能掩盖有效信息。因此，本专利技术提出一种随机补齐算法，该方法基于原始数据，在填充数据的同时，能够丰富数据特征。
[0007](2)注意力机制
[0008]注意力机制能够让模型关注有用的信息，能够进一步提升模型性能。卷积神经网络中常用的有SeNet、BAM和CBAM等注意力机制模块，但是这些模块都是面向二维卷积神经网络的，因此本专利技术提出了一个面向一维卷积神经网络的简化的注意力机制，该模块通过
对全局特征进行加权，再和原特征向量相乘得到带有注意力的特征向量。

技术实现思路

[0009]针对现有技术存在的不足，本专利技术提供一种基于一维卷积神经网络的复杂声音识别方法，首先提出一种随机补齐算法将参差不齐的原始音频数据填充至相同的长度输入至网络模型中，然后优化网络模型，将预加重技术和简化的注意力机制引入神经网络进行训练，最终构建了复杂声音识别模型。
[0010]为了解决上述技术问题，本专利技术采用的技术方案是：
[0011]一种基于一维卷积神经网络的复杂声音识别方法，对复杂声音采用随机补齐算法处理，将原始数据填充至同一长度，用于一维卷积神经网络的输入；并在一维卷积神经网络的基本框架嵌入预加重模块和简化的注意力机制模块，所述预加重模块置于一维卷积神经网络的输入部分，用于对输入数据进行预加重和参与网络模型调优，所述简化的注意力机制模块置于一维卷积神经网络的深层，利用全局平均池化和sigmoid函数得到带有注意力的全局特征。
[0012]进一步的，所述的基于一维卷积神经网络的复杂声音识别方法详细步骤如下：
[0013]一、原始数据处理：采用随机补齐算法对原始数据进行填充，得到裁剪随机补齐后的长度一致的原始音频，将该原始音频作为一维卷积神经网络的输入数据；
[0014]二、预加重：通过预加重模块对输入数据进行预加重，再经过一层卷积层处理；
[0015]三、一维卷积神经网络：通过一维卷积神经网络处理，得到特征向量，其中，该一维卷积神经网络结构采用了两个通道数一样的卷积层后跟一层池化层，堆叠三次，共6层卷积结构；
[0016]四、注意力机制：特征向量输入到简化的注意力机制模块中，得到带有注意力的特征；
[0017]五、输出分类：最后通过两层全连接结构和softmax分类函数输出最终的识别结果。
[0018]进一步的，所述的随机补齐算法具体步骤如下：
[0019](1)将所有样本划分成大于等于N/2秒和小于N/2秒两大类，其中样本的目标长度为N秒；
[0020]对大于等于N/2秒的样本，随机选取一个能够一次性补齐至N秒的起始点，然后截取起始点至所需的长度，最后将截取的音频段填充在原始音频的末端完成补齐；
[0021](2)对小于N/2秒的样本，则直接复制整个样本直至长度大于等于N秒，最后再裁剪成N秒的样本。
[0022]进一步的，所述预加重模块共有两层卷积结构，第一层的卷积核的初值设置为
‑
0.97和1并不断堆叠，第二层的卷积核初值为1，进一步调整预加重系数。
[0023]进一步的，预加重模块每一层的卷积核的个数设置为1。
[0024]进一步的，所述简化的注意力机制是，首先使用全局平均池化将特征压缩成和通道数大小一致的一维特征，获取模型的全局特征，然后将该特征输入到sigmoid函数中得到每个通道对应的权重，最后将该权重和原全局平均池化得到的一维特征相乘得到新的全局特征，该特征就是带有注意力的特征；
[0025]注意力机制的表达式如下：
[0026][0027]其中F为一维卷积神经网络深层的输出特征，W为权重向量，F
O
为带有注意力的全局特征。
[0028]与现有技术相比，本专利技术优点在于：
[0029](1)本专利技术设计的随机补齐方法能够将参差不齐的原始数据填充至同一长度，便于网络模型的输入，并且弥补了补零方法的单一性，依靠原始数据补充原始数据，最大程度的保留了原始数据的时序性等特征，提供更多的有用特征显然有利于分类性能的提升。
[0030](2)本专利技术设计的预加重模块，利用卷积层的卷积操作将预加重技术结合到卷积神经网络中，通过加入一层卷积核初始值为1，核长为1的卷积层，为前面的预加重层提供了缓冲空间，能够进一步适当的调节网络，同时也减轻了接下来的一维卷积神经网络的调优负担，提高性能。
[0031](3)本专利技术设计的简化的注意力机制，利用全局平均池化和sigm本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一维卷积神经网络的复杂声音识别方法，其特征在于，对复杂声音采用随机补齐算法处理，将原始数据填充至同一长度，用于一维卷积神经网络的输入；并在一维卷积神经网络的基本框架嵌入预加重模块和简化的注意力机制模块，所述预加重模块置于一维卷积神经网络的输入部分，用于对输入数据进行预加重和参与网络模型调优，所述简化的注意力机制模块置于一维卷积神经网络的深层，利用全局平均池化和sigmoid函数得到带有注意力的全局特征。2.根据权利要求1所述的基于一维卷积神经网络的复杂声音识别方法，其特征在于，详细步骤如下：一、原始数据处理：采用随机补齐算法对原始数据进行填充，得到裁剪随机补齐后的长度一致的原始音频，将该原始音频作为一维卷积神经网络的输入数据；二、预加重：通过预加重模块对输入数据进行预加重，再经过一层卷积层处理；三、一维卷积神经网络：通过一维卷积神经网络处理，得到特征向量，其中，该一维卷积神经网络结构采用了两个通道数一样的卷积层后跟一层池化层，堆叠三次，共6层卷积结构；四、注意力机制：特征向量输入到简化的注意力机制模块中，得到带有注意力的特征；五、输出分类：最后通过两层全连接结构和softmax分类函数输出最终的识别结果。3.根据权利要求2所述的基于一维卷积神经网络的复杂声音识别方法，其特征在于，所述的随机补齐算法具体步骤如下：(1)...

【专利技术属性】
技术研发人员：殷波，杜泽华，魏志强，董西峰，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：