一种音视频融合的噪声事件分类方法及系统技术方案

本发明专利技术涉及噪声监测技术领域，具体为一种音视频融合的噪声事件分类方法及系统，其方法包括：采集监测区域内的实时噪声信号和实时图像信号；对所述实时噪声信号进行预处理；将所述预处理后的实时噪声信号和实时图像信号发送到服务器；获取噪声事件类型特征信息；构建噪声事件分类模型，基于所述预处理后的实时噪声信号和所述噪声事件类型特征信息对所述噪声事件分类模型进行训练；基于所述训练完成的噪声事件分类模型对所述预处理后的实时噪声信号和实时图像信号进行分类；对分类结果进行精度分析。本发明专利技术通过构建利用深度学习的噪声事件分类模型，对环境噪声事件进行动态分类，满足当前环境噪声监测与管理的需要。满足当前环境噪声监测与管理的需要。满足当前环境噪声监测与管理的需要。

【技术实现步骤摘要】
一种音视频融合的噪声事件分类方法及系统


[0001]本专利技术涉及噪声监测
，尤其涉及一种音视频融合的噪声事件分类方法及系统。

技术介绍

[0002]近年来，人们对生活与工作环境的声质量越发重视，对于声质量的监测力度大大加强，在一些多噪声区域设置较多的声质量监测装置，用于对环境噪声进行监测与记录。由于传统的声质量监测装置只对局部环境区域的噪声进行连续的统计性测量，不能对环境噪声的类型进行监测，在实际监测过程中将所有的环境噪声，包括会造成环境污染的噪声和不会造成环境污染的噪声一并采集并进行记录，导致后续对该区域内的环境噪声污染程度的评估出现偏差，不利于对环境噪声监测与管理工作的进行，降低对环境噪声污染处理的效率。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种音视频融合的噪声事件分类方法及系统，通过构建利用深度学习的噪声事件分类模型，对环境噪声事件进行动态分类，满足当前环境噪声监测与管理的需要，提高环境噪声污染处理的效率。
[0004]本专利技术提供了一种音视频融合的噪声事件分类方法，所述方法包括：
[0005]基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；
[0006]对所述实时噪声信号进行预处理，得到预处理后的实时噪声信号；
[0007]将所述预处理后的实时噪声信号和实时图像信号发送到服务器；
[0008]获取噪声事件类型特征信息；
[0009]构建噪声事件分类模型，基于所述预处理后的实时噪声信号和所述噪声事件类型特征信息对所述噪声事件分类模型进行训练，得到训练完成的噪声事件分类模型；
[0010]基于所述训练完成的噪声事件分类模型对所述预处理后的实时噪声信号和实时图像信号进行分类；
[0011]对分类结果进行精度分析。
[0012]进一步的，所述基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号包括：
[0013]基于环境噪声事件监测区域的面积大小以及噪声复杂程度，分析得出所述监测装置的布设数量和布设位置。
[0014]进一步的，所述对所述实时噪声信号进行预处理，得到预处理后的实时噪声信号包括：
[0015]对所述实时噪声信号进行分帧处理，得到分帧处理后的实时噪声信号；
[0016]对所述分帧处理后的实时噪声信号进行加窗处理，得到加窗处理后的实时噪声信
号；
[0017]对所述加窗处理后的实时噪声信号进行短时时频二维展开，生成时频矩阵；
[0018]对所述时频矩阵进行中心差分处理，生成三通道声信号矩阵；
[0019]对所述三通道声信号矩阵进行归一化处理，生成预处理后的实时噪声信号。
[0020]进一步的，所述对所述时频矩阵进行中心差分处理，生成三通道声信号矩阵包括：
[0021]对所述时频矩阵进行一次中心差分处理，生成一次差分矩阵；
[0022]对所述一次差分矩阵进行二次中心差分处理，生成二次差分矩阵；
[0023]将所述时频矩阵、一次差分矩阵和二次差分矩阵组合，生成三通道声信号矩阵。
[0024]进一步的，在对所述分帧处理后的实时噪声信号进行加窗处理之前，还包括：
[0025]对所述分帧处理后的实时噪声信号进行随机比例混合处理，得到带信号混合特征的实时噪声信号。
[0026]进一步的，在对所述时频矩阵进行中心差分处理之前，还包括：
[0027]对所述时频矩阵进行随机掩蔽处理，得到带信号掩蔽特征的实时噪声信号。
[0028]进一步的，所述获取噪声事件类型特征信息包括：
[0029]收集各类噪声事件类型的特征信息，所述噪声事件类型包括噪声污染事件和非噪声污染事件；
[0030]将所述噪声事件类型的特征信息进行筛选并进行排序，组成噪声事件类型特征信息数据集。
[0031]进一步的，所述构建噪声事件分类模型，基于所述预处理后的实时噪声信号和所述噪声事件类型特征信息对所述噪声事件分类模型进行训练，得到训练完成的噪声事件分类模型包括：
[0032]构建基于移动网络与位置注意力机制结构的噪声事件分类模型；
[0033]将所述预处理后的实时噪声信号和所述噪声事件类型特征信息作为特征信息对所述噪声事件分类模型进行训练，生成训练完成的噪声事件分类模型。
[0034]进一步的，所述基于所述训练完成的噪声事件分类模型对所述预处理后的实时噪声信号和实时图像信号进行分类包括：
[0035]获取所述预处理后的实时噪声信号中的噪声事件概率分布数组；
[0036]将所述噪声事件概率分布数组中数值最大且大于一定概率阈值的噪声事件类型记录为所述预处理后的实时噪声信号的噪声事件类型；
[0037]判断所述预处理后的实时噪声信号的噪声事件类型是否为噪声污染事件。
[0038]本专利技术还提供了一种音视频融合的噪声事件分类系统，所述系统包括：
[0039]采集模块，所述采集系统用于采集对应监测区域内的实时噪声信号和实时图像信号，并获取噪声事件类型特征信息；
[0040]信号预处理模块，所述信号预处理模块用于对所述实时噪声信号进行预处理，得到预处理后的实时噪声信号；
[0041]通信模块，所述通信模块用于将所述预处理后的实时噪声信号和实时图像信号发送到服务器；
[0042]模型训练模块，所述模型训练模块用于构建噪声事件分类模型，基于所述预处理后的实时噪声信号和所述噪声事件类型特征信息对所述噪声事件分类模型进行训练，得到
训练完成的噪声事件分类模型；
[0043]分类模块，所述分类模块用于对所述预处理后的实时噪声信号和实时图像信号进行分类；
[0044]精度分析模块，所述精度分析模块用于对分类结果进行精度分析。
[0045]本专利技术通过在环境噪声监测区域内合适的位置设置监测装置，可收集到该监测区域内的实时噪声信号和实时图像信号，为后续对噪声事件分类模型的训练和分类提供数据基础；对实时噪声信号进行预处理，可提高信号的质量和抗干扰能力，同时获取噪声事件类型特征信息，为噪声事件分类模型的训练提供了带增强特征信息的数据集，提高了噪声事件分类模型的运行效率；通过构建噪声事件分类模型，能对环境噪声事件的类型进行动态分类，分析得出其中会造成环境污染的环境噪声事件，进行针对处理，同时对分类结果进行精度分析，满足当前环境噪声监测与管理的需要，提高环境噪声污染处理的效率。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0047]图1是本专利技术实施例一中的音视频融合的噪声事件分类方法流程图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频融合的噪声事件分类方法，其特征在于，所述方法包括：基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号；对所述实时噪声信号进行预处理，得到预处理后的实时噪声信号；将所述预处理后的实时噪声信号和实时图像信号发送到服务器；获取噪声事件类型特征信息；构建噪声事件分类模型，基于所述预处理后的实时噪声信号和所述噪声事件类型特征信息对所述噪声事件分类模型进行训练，得到训练完成的噪声事件分类模型；基于所述训练完成的噪声事件分类模型对所述预处理后的实时噪声信号和实时图像信号进行分类；对分类结果进行精度分析。2.如权利要求1所述的音视频融合的噪声事件分类方法，其特征在于，所述基于设置在环境噪声事件监测区域内的监测装置采集对应监测区域内的实时噪声信号和实时图像信号包括：基于所述环境噪声事件监测区域的面积大小以及噪声复杂程度，分析得出所述监测装置的布设数量和布设位置。3.如权利要求1所述的音视频融合的噪声事件分类方法，其特征在于，所述对所述实时噪声信号进行预处理，得到预处理后的实时噪声信号包括：对所述实时噪声信号进行分帧处理，得到分帧处理后的实时噪声信号；对所述分帧处理后的实时噪声信号进行加窗处理，得到加窗处理后的实时噪声信号；对所述加窗处理后的实时噪声信号进行短时时频二维展开，生成时频矩阵；对所述时频矩阵进行中心差分处理，生成三通道声信号矩阵；对所述三通道声信号矩阵进行归一化处理，生成预处理后的实时噪声信号。4.如权利要求3所述的音视频融合的噪声事件分类方法，其特征在于，所述对所述时频矩阵进行中心差分处理，生成三通道声信号矩阵包括：对所述时频矩阵进行一次中心差分处理，生成一次差分矩阵；对所述一次差分矩阵进行二次中心差分处理，生成二次差分矩阵；将所述时频矩阵、一次差分矩阵和二次差分矩阵组合，生成三通道声信号矩阵。5.如权利要求3所述的音视频融合的噪声事件分类方法，其特征在于，在对所述分帧处理后的实时噪声信号进行加窗处理之前，还包括：对所述分帧处理后的实时噪声信号进行随机比例混合处理，得到带信号混合特征的实时噪声信号。6.如权利要求3所述的音视频融合的噪声事件分类方法，其特征在于，在对所...

【专利技术属性】
技术研发人员：卢伟健，何兴华，邹建华，郑嘉键，兰钰，
申请(专利权)人：广东顺德西安交通大学研究院，
类型：发明
国别省市：