【技术实现步骤摘要】
本专利技术涉及城市建筑内安全监督，尤其涉及一种面向智慧建筑高危事件优先监督的方法及系统。
技术介绍
1、本方案基于声音事件检测技术，现有声音事件检测技术首先缺乏针对危险声音事件的风险等级评价，其次缺乏专门用于危险声音事件检测的数据集，检测算法本身受声音收录环境影响缺乏鲁棒性，其次当高危声音时间与其他声音事件重叠时存在高危事件的漏判现象。
2、因此，本专利技术提出了一种面向智慧建筑高危事件优先监督的方法及系统来解决上述问题。
技术实现思路
1、本专利技术针对现有技术的不足，研制一种基于声音事件检测的智慧建筑高危事件优先监督方法及系统，本专利技术通过多种数据增强手段可以提升声音事件检测算法对环境噪声的鲁棒性，并通过加权损失函数设计可以实现高风险等级声音事件优先检测。
2、一方面，本专利技术解决技术问题的技术方案为一种面向智慧建筑高危事件优先监督的方法，包括以下步骤：
3、s1、构建智慧建筑音频数据库：使用统一设备采集不同建筑内不同位置的音频，对采集到的音频数据进行处理得到数据集dataset，然后将数据集dataset按比例划分为训练集datasettrain和测试集datasettest；
4、s2、构建声音事件检测模型：声音事件检测模型依次包括数据增强层、特征处理模块、多头注意力模块和对比学习损失模块四个部分；
5、s3、对声音事件检测模型进行训练和评测：将训练集datasettrain中数据输入至声音事件检测模型中对模型
6、具体实施方式中，步骤s1具体如下：
7、为采集到的音频设计声音事件软标签，根据声音事件软标签切割采集到的音频，然后对音频样本进行标准化，将每个音频样本时间固定位7秒，采样率固定位22050hz，得到数据集dataset，，其中，，表示采集的音频，表示音频对应的软标签，表示采集的第i个种类的音频，表示所有第i个种类的音频对应的标签，每个种类的音频包含200个样本音频，使用表示第i个种类的音频的第c个样本音频，，n表示采集的音频种类数量；
8、再对每个样本音频标注声音事件硬标签，具体通过开源技术panns为每个样本音频标注声音事件的起止时间；
9、然后对采集的每个样本音频进行危险等级划分，根据声音事件涉及的人身、财产安全将危险等级划分为无危险等级事件、低危险等级事件、中危险等级事件、高危险等级事件，其中，表示第i个种类音频的危险等级，= 1，，，；
10、最后，将处理后的数据集按照8:2比例划分为训练集datasettrain和测试集datasettest。
11、具体实施方式中，声音事件监测模型中的数据增强层具体如下：
12、将数据集dataset中数据输入至声音事件监测模型中，首先经过数据增强层，数据增强层包括时域遮掩、环境噪声覆盖和异标签样本叠加操作，经过三个操作得到正样本增强音频，具体步骤如下：
13、s2.1.1、将数据集dataset中的样本音频输入至数据增强层，分别进行数据增强，首先根据panns标注的样本音频xic的起始位置对其他非声音事件时间段进行时域遮掩，将非声音事件时间段的音频信号幅度设置为0，从而得到初步增强音频ic；
14、s2.1.2、对时域遮掩后的初步增强音频ic进行环境噪音覆盖操作，通过大模型make-an-audio生成不同环境下的噪声音频，将噪声音频与初步增强音频ic叠加得到二次增强音频；
15、s2.1.3、（1）对数据集dataset中部分二次增强音频进行异标签样本叠加操作，异标签样本叠加的发生概率为1/5，随机选择与二次增强音频不同安全等级且不同种类的一条样本音频数据xja与二次增强音频叠加，得到对应的最终的增强音频，同时将样本音频数据xjc对应的安全等级和标签赋予给最终的增强音频作为其第二套标签，则最终的增强音频包括两套标签，一套是音频xic本身对应的标签其安全等级为，另一套是音频xja赋予的标签其安全等级为，表示样本音频数据xic的最终增强数据，表示音频数据xic二次增强音频，xja表示随机选择的一条属于第j个种类的音频的第a个样本音频，，，，，；
16、（2）对数据集dataset中部分二次增强音频不发生异标签样本叠加操作，则随机选择一个不同于二次增强音频种类的标签赋予给二次增强音频作为第二套标签，并将对应安全等级设为无危险等级事件，得到对应的最终的增强音频。
17、具体实施方式中，声音事件监测模型中的特征提取模块具体如下：
18、特征提取模块依次包括stft层、初始卷积层、第一残差块、第二残差块、第三残差块、第四残差块、注意力全连接层和relu激活函数、平均池化层和最大池化层、第一全连接层和relu激活函数以及第二全连接层，具体步骤如下；
19、s2.2.1、将步骤s2.1.3中得到的增强数据输入至特征提取模块，首先经过stft层将其转换为维度为b×time×band的频谱图g，time表示时间帧的数量，band表示频带数量，b表示批batchsize的大小，stft层由短时傅里叶变换函数组成；
20、s2.2.2、将频谱图g分别经过初始卷积层、第一残差块、第二残差块、第三残差块和第四残差块进行特征提取得到特征表示、、和，计算公式如下：
21、，
22、，
23、，
24、，
25、，
26、，
27、其中，表示卷积层，表示最大池化层，relu表示激活函数，bn表示批量归一化函数，conv2d表示2维卷积操作，表示输出图像的大小与输入图像的大小相同， maxpooling2d表示池化操作，resblock表示残差计算，dilatedrb表示残差网络与膨胀卷积的结合，即将resblock中的卷积层变为膨胀卷积，dilation表示膨胀卷积的膨胀因子；
28、各网络层的具体结构如下：
29、初始卷积层由卷积核大小为7×7、输出通道为64 、步长为2×2的卷积层，批量归一化层bn，relu激活函数和池化窗口为3×3、步长为2×2的最大池化层组成；
30、第一残差块包含三个残差块，每个残差块由卷积核为3×3、输出通道为128、步长为1的第一卷积层，bn层和激活函数relu层，卷积核为3×3、输出通道为128、步长为1的第二卷积层，跳跃连接以及bn层和激活函数relu层组成，其中通过跳跃连接将进入该残差块前的输入与该残差块中第二卷积层的输出相加传至bn层和激活函数relu层；
31、第二残差块包含四个残差块，其中第一个和第四个残差块与第一残差块内包含的残差块一致，输出通道数变为256，第二个和第三个残差块为膨胀残差块，膨胀残差块由卷积核为3×3、输出通道本文档来自技高网...
【技术保护点】
1.一种面向智慧建筑高危事件优先监督的方法，其特征是，包括以下步骤：
2.根据权利要求1所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，步骤S1具体如下：
3.根据权利要求2所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的数据增强层具体如下：
4.根据权利要求3所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的特征提取模块具体如下：
5.根据权利要求4所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的多头注意力模块具体如下：
6.根据权利要求5所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的对比学习损失模块具体如下：
7.根据权利要求6所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，步骤S3具体如下：
8.一种面向智慧建筑高危事件优先监督的系统，其特征在于：包括用于执行权利要求1-7中任意一项权利要求所述的一种面向智慧建筑高危事件优先监督的方法中各个步骤处理指令的模块。>...
【技术特征摘要】
1.一种面向智慧建筑高危事件优先监督的方法，其特征是，包括以下步骤：
2.根据权利要求1所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，步骤s1具体如下：
3.根据权利要求2所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的数据增强层具体如下：
4.根据权利要求3所述的一种面向智慧建筑高危事件优先监督的方法，其特征是，声音事件监测模型中的特征提取模块具体如下：
5.根据权利要求4所述的一种面向智慧建筑高危事件...
【专利技术属性】
技术研发人员：吕记斌，赵建云，王文民，王小鹏，洛佳明，
申请(专利权)人：山东远桥信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。