音视频雷达融合的异常事件监控方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种音视频雷达融合的异常事件监控方法、装置、设备及介质，包括：获取当前场景的多元数据集合；其中，多元数据集合包括音频数据、视频数据和点云数据；通过预先训练的异常事件检测网络，根据视频数据的目标视频特征信息和点云数据的目标点云特征信息确定第一融合特征，根据音频数据的音频特征信息和第一融合特征确定第二融合特征，并基于第二融合特征确定当前场景的异常事件检测结果。本发明专利技术可以对不同场景下的多种类型异常事件进行检测，减少因环境因素对异常事件检测的影响，提高异常事件检测的准确性。提高异常事件检测的准确性。提高异常事件检测的准确性。

【技术实现步骤摘要】
音视频雷达融合的异常事件监控方法、装置、设备及介质


[0001]本专利技术涉及AI（Artificial Intelligence，人工智能）
，尤其是涉及一种音视频雷达融合的异常事件监控方法、装置、设备及介质。

技术介绍

[0002]目前，现有的视频监控设备在雨雪、大雾等能见度较低的情况下通常很难对环境中的异常事件进行检测。此外，现有的音视频检测异常事件的技术通常只能应用于特定的场景下，由于不同场景下的异常事件的定义可能会不同，因此对于不同场景下的异常事件没有很好的通用性。例如游乐场中的尖叫声通常不能定义为异常事件，但是车站等场景下的尖叫声一般会认为是异常事件。综上所述，现有的监控技术难以准确地对复杂环境的异常事件进行检测，而且针对不同监控场景的通用性较差。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种音视频雷达融合的异常事件监控方法、装置、设备及介质，可以对不同场景下的多种类型异常事件进行检测，减少因环境因素对异常事件检测的影响，提高异常事件检测的准确性。
[0004]第一方面，本专利技术实施例提供了一种音视频雷达融合的异常事件监控方法，包括：获取当前场景的多元数据集合；其中，所述多元数据集合包括音频数据、视频数据和点云数据；通过预先训练的异常事件检测网络，根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，并基于所述第二融合特征确定所述当前场景的异常事件检测结果。<br/>[0005]在一种实施方式中，所述异常事件检测网络包括雷视融合子网络，所述雷视融合子网络包括雷视特征提取模块和雷视特征融合模块；根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，包括：通过所述雷视特征提取模块，提取所述视频数据对应的多个层级的目标视频特征信息，以及提取所述点云数据对应的多个层级的目标点云特征信息；通过所述雷视特征融合模块，对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征。
[0006]在一种实施方式中，所述雷视特征提取模块包括图像特征提取单元和点云特征提取单元，所述图像特征提取单元和所述点云特征提取单元均包括多个层级的第一特征提取子单元和多个层级的第二特征提取子单元，当前层级的第一特征提取子单元的输入端与前一层级的第一特征提取子单元的输出端连接，所述当前层级的第一特征提取子单元的输出端与后一层级的第一特征提取子单元的输入端和当前层级的第二特征提取子单元的输入
端连接；提取所述视频数据对应的多个层级的目标视频特征信息，包括：通过所述当前层级的所述第一特征提取子单元，对所述前一层级的视频特征向量进行特征提取，得到所述当前层级的视频特征向量；通过所述当前层级的所述第二特征提取子单元，对所述当前层级的视频特征向量进行特征提取，得到所述当前层级的目标视频特征信息。
[0007]在一种实施方式中，所述第一特征提取子单元包括并行的卷积层和空洞卷积，所述第二特征提取子单元包括特征金字塔层。
[0008]在一种实施方式中，所述雷视特征融合模块包括第一特征融合单元和第二特征融合单元；对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征，包括：通过所述第一特征融合单元，分别对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合，得到中间融合特征；通过所述第二特征融合单元，对所述中间融合特征进行第一卷积操作得到第一卷积操作结果，对所述第一卷积操作结果执行至少两次第二卷积操作得到第二卷积操作结果，将所述第一卷积操作结果和所述第二卷积操作结果进行融合，以实现不同层级特征融合，得到第一融合特征。
[0009]在一种实施方式中，所述第一特征融合单元包括多个层级的特征融合子单元，当前层级的所述特征融合子单元的输入端与后一层级的所述特征融合子单元的输出端、所述当前层级的第一特征提取子单元的输出端和所述当前层级的第二特征提取子单元的输出端连接；分别对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合，得到中间融合特征，包括：通过所述当前层级的所述特征融合子单元，基于后一层级的所述特征融合子单元的输出数据、所述当前层级的目标视频特征信息和所述当前层级的目标点云特征信息进行融合，以实现同层级特征融合，得到中间融合特征。
[0010]在一种实施方式中，所述异常事件检测网络还包括多元数据融合子网络，所述多元数据融合子网络包括音频特征提取模块和多元数据融合模块；根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，包括：通过所述音频特征提取模块，提取所述音频数据对应的音频特征信息；通过所述多元数据融合模块，对所述音频特征信息和所述第一融合特征进行横向融合，得到第二融合特征；所述异常事件检测网络还包括异常事件检测子网络；基于所述第二融合特征确定所述当前场景的异常事件检测结果，包括：通过所述异常事件检测子网络，基于所述第二融合特征确定所述当前场景的异常事件检测结果。
[0011]在一种实施方式中，所述方法还包括：如果所述异常事件检测结果表征所述当前场景发生异常事件，则基于所述异常事
件检测结果进行预警；如果所述异常事件检测结果表征所述当前场景未发生异常事件，则丢弃所述异常事件检测结果。
[0012]第二方面，本专利技术实施例还提供一种音视频雷达融合的异常事件监控装置，包括：数据获取模块，用于获取当前场景的多元数据集合；其中，所述多元数据集合包括音频数据、视频数据和点云数据；异常事件检测模块，用于通过预先训练的异常事件检测网络，根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，并基于所述第二融合特征确定所述当前场景的异常事件检测结果。
[0013]第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
[0014]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
[0015]本专利技术实施例提供的一种音视频雷达融合的异常事件监控方法、装置、设备及介质，首先获取当前场景的多元数据集合（包括音频数据、视频数据和点云数据），再通过预先训练的异常事件检测网络，根据视频数据的目标视频特征信息和点云数据的目标点云特征信息确定第一融合特征，以及根据音频数据的音频特征信息和第一融合特征确定第二融合特征，最后即可基于第二融合特征确定当前场景的异常事件检测结果。上述方法采集当前场景下的音频数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频雷达融合的异常事件监控方法，其特征在于，包括：获取当前场景的多元数据集合；其中，所述多元数据集合包括音频数据、视频数据和点云数据；通过预先训练的异常事件检测网络，根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，并基于所述第二融合特征确定所述当前场景的异常事件检测结果。2.根据权利要求1所述的音视频雷达融合的异常事件监控方法，其特征在于，所述异常事件检测网络包括雷视融合子网络，所述雷视融合子网络包括雷视特征提取模块和雷视特征融合模块；根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，包括：通过所述雷视特征提取模块，提取所述视频数据对应的多个层级的目标视频特征信息，以及提取所述点云数据对应的多个层级的目标点云特征信息；通过所述雷视特征融合模块，对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征。3.根据权利要求2所述的音视频雷达融合的异常事件监控方法，其特征在于，所述雷视特征提取模块包括图像特征提取单元和点云特征提取单元，所述图像特征提取单元和所述点云特征提取单元均包括多个层级的第一特征提取子单元和多个层级的第二特征提取子单元，当前层级的第一特征提取子单元的输入端与前一层级的第一特征提取子单元的输出端连接，所述当前层级的第一特征提取子单元的输出端与后一层级的第一特征提取子单元的输入端和当前层级的第二特征提取子单元的输入端连接；提取所述视频数据对应的多个层级的目标视频特征信息，包括：通过所述当前层级的所述第一特征提取子单元，对所述前一层级的视频特征向量进行特征提取，得到所述当前层级的视频特征向量；通过所述当前层级的所述第二特征提取子单元，对所述当前层级的视频特征向量进行特征提取，得到所述当前层级的目标视频特征信息。4.根据权利要求3所述的音视频雷达融合的异常事件监控方法，其特征在于，所述第一特征提取子单元包括并行的卷积层和空洞卷积，所述第二特征提取子单元包括特征金字塔层。5.根据权利要求2所述的音视频雷达融合的异常事件监控方法，其特征在于，所述雷视特征融合模块包括第一特征融合单元和第二特征融合单元；对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征，包括：通过所述第一特征融合单元，分别对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合，得到中间融合特征；通过所述第二特征融合单元，对所述中间融合特征进行第一卷积操作得到第一卷积操作结果，对所述第一卷积操作结果执行至少两次第二卷积操作得到第二卷积操作结果，将所述第一卷积操作...

【专利技术属性】
技术研发人员：翟葆朔，李亚洲，刘宏炜，刘贺，
申请(专利权)人：中电信数字城市科技有限公司，
类型：发明
国别省市：