一种数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，具体地，可以获取待处理声音数据和待处理图像序列。将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型。其中，所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像。由于所述事件分析模型，是基于训练样本和该训练样本对应的事件类型训练得到的。该训练样本，包括在历史时间段内采集得到的历史声音数据和历史图像数据。因此，该事件分析模型，可以准确的根据输入的待处理声音数据和待处理图像序列，输出对应的事件类型。因此，利用本申请实施例提供的方案，可以准确的确定出是否存在异常事件。

A data processing method and device

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及数据处理领域，特别是涉及一种数据处理方法及装置。
技术介绍
随着科学技术的发展，出现了一些声音采集设备和图像采集设备，声音采集设备可以用于采集一定范围内的声音。图像采集设备用于采集一定范围内的图像。目前，为了保证用户的人身以及财产安全，在一些涉及公共安全的区域例如小区、花园等都可以安装声音采集设备和图像采集设备，用于采集对应的声音数据和图像。通过对声音数据或者图像进行分析，来确定是否存在异常事件，例如，确定是否出现人员异常聚集，又如，确定用户是否遭遇打劫而需要帮助等等。但是，目前对声音数据或者图像进行分析的效果不好，从而使得无法准确的判断出是否存在异常事件。
技术实现思路
本申请所要解决的技术问题是传统技术中对声音数据或者图像进行分析的效果不好，提供一种数据处理方法及装置。第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。可选的，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；r>所述第一特征提取层，用于提取所述待处理图像序列的图像特征；所述第二特征提取层，用于提取所述待处理声音数据的声音特征；所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；所述输出层，用于根据所述第一融合特征，输出所述事件类型。可选的，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。可选的，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。可选的，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。可选的，所述事件分析模型，还包括：第二特征融合层；所述第一特征融合层的输出为所述第二特征融合层的输入；所述第二特征融合层的输出为所述输出层的输入；所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。可选的，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。可选的，所述方法还包括：若所述事件类型为异常事件类型，则控制预警装置进行预警。可选的，所述预警装置，包括以下任意一项或者组合：警示灯、警铃、喇叭、蜂鸣器和发光二极管。可选的，所述方法还包括：若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：获取单元，用于获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；输入单元，用于将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。可选的，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；所述第一特征提取层，用于提取所述待处理图像序列的图像特征；所述第二特征提取层，用于提取所述待处理声音数据的声音特征；所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；所述输出层，用于根据所述第一融合特征，输出所述事件类型。可选的，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。可选的，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。可选的，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。可选的，所述事件分析模型，还包括：第二特征融合层；所述第一特征融合层的输出为所述第二特征融合层的输入；所述第二特征融合层的输出为所述输出层的输入；所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。可选的，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；/n将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；
将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。


2.根据权利要求1所述的方法，其特征在于，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；
所述第一特征提取层，用于提取所述待处理图像序列的图像特征；
所述第二特征提取层，用于提取所述待处理声音数据的声音特征；
所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；
所述输出层，用于根据所述第一融合特征，输出所述事件类型。


3.根据权利要求2所述的方法，其特征在于，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；
所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；
所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。


4.根据权利要求2所述的方法，其特征在于，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。


5.根据权利要求2所述的方法，其特征在于，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。


6.根据权利要求5所述的方法，其特征在于，所述事件分析模型，还包括：第二特征融合层；
所述第一特征融合层的输出为所述第二特征融合层的输入；
所述第二特征融合层的输出为所述输出层的输入；
所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；
所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。


7.根据权利要求6所述的方法，其特征在于，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：
所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；
所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；
所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述事件类型为异常事件类型，则控制预警装置进行预警。


9.根据权利要求8所述的方法，其特征在于，所述预警装置，包括以下任意一项或者组合：
警示灯、警铃、喇叭、蜂鸣器和发光二极管。


10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。


11.一种数据处理装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：张量，
申请(专利权)人：北京小狗智能机器人技术有限公司，
类型：发明
国别省市：北京;11