静默报警方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种静默报警方法、装置、计算机设备和存储介质，获取监管环境的图像数据和音频数据，从图像和声音两个方面入手，采用监管环境下的多模态数据构建的场景数据训练得到的多模态识别模型，对图像数据和声音数据进行多模态识别，得到多模态识别结果，综合考虑了监管环境的实际情况，提高危险判断的准确率，且当根据多模态识别结果生成预警信息时，还结合预设的预警信息过滤方法对预警信息进行筛选，过滤可能出现的误判的预警信息，保证报警的准确率，此外，当判断出现危险情况下，采用静默报警的方式进行自动报警，保证监管环境内的人员的安全。

Silent alarm method, device, computer equipment and storage medium

【技术实现步骤摘要】
静默报警方法、装置、计算机设备和存储介质
本申请涉及多模态机器学习领域，特别是涉及一种静默报警方法、装置、计算机设备和存储介质。
技术介绍
随着人们生活水平的提高，越来越多的家庭都拥有了自己的车辆，选择驾车出行也给人们的生活带来了诸多便利。但是由于车辆的可移动性，增加了车内人员暴露于危险情况下的可能性：从而在很多时候需要车辆能够智能的判断危险场景，并实施静默自动报警，如遭遇到歹徒在车内实施抢劫。目前，已有学者(或技术)提出了自动报警的方法，但是，现有的自动报警方法仅是通过图像或声音实现自动报警，判断方式较为单一，容易造成误判的问题，如由手机播放的声音触发警报。
技术实现思路
基于此，有必要针对现有的自动报警容易出现误判的问题，提供一种更为全面准确的静默报警方法、装置、计算机设备和存储介质。一种静默报警方法，方法包括：获取监管环境的图像数据以及音频数据；基于图像数据以及音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，预设多模态识别模型基于监管环境下的多模态数据构建的场景数据训练得到；当根据多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及多模态识别结果识别预警信息中有效的预警信息；获取有效的预警信息的权重之和，当权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。在其中一个实施例中，基于图像数据以及音频数据，采用预设多模态识别模型进行多模态识别包括：基于图像数据，采用预设多模态识别模型进行图像识别，识别出图像数据中的用户数据以及危险物品；基于音频数据，采用预设多模态识别模型进行音频检测，识别音频数据是否包含触发预警信息生成的目标数据。在其中一个实施例中，预设多模态识别模型包括图像分类单元、动作分类单元以及物品检测定位单元；基于图像数据，采用预设多模态识别模型进行图像识别，识别出图像数据中的用户数据以及危险物品包括：采用图像分类单元对图像数据进行分类，识别出图像数据中的用户的年龄段和身体状态；采用动作分类单元对图像数据进行动作检测，判断图像数据中的用户的动作是否危险；采用物品检测定位单元对图像数据进行物品检测，识别监管环境是否存在危险物品。在其中一个实施例中，根据多模态识别结果生成预警信息包括：当多模态识别结果包含下述至少一项时，生成预警信息；第一项，识别出监管环境存在危险物品；第二项，识别出用户的动作为危险动作；第三项，识别音频数据包含触发预警信息生成的目标数据。在其中一个实施例中，结合预设的预警信息过滤方法以及多模态识别结果识别预警信息中有效的预警信息包括：当识别出音频数据出现预设关键词，生成预警信息时，对音频数据进行声纹识别；当声纹识别出用户的声音为成年人声音而用户的年龄段识别结果为儿童时，则过滤对应的预警信息。在其中一个实施例中，通过预设静默报警方式发送报警信号之后，还包括：当接收到取消报警请求时，则解除报警信号。一种静默报警装置，装置包括：数据获取模块，用于获取监管环境的图像数据以及音频数据；多模态识别模块，用于基于图像数据以及音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，多模态识别模型基于监管环境下的多模态数据构建的场景数据训练得到；预警信息过滤模块，用于当根据多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及多模态识别结果识别预警信息中有效的预警信息；静默报警模块，用于获取有效的预警信息的权重之和，当权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。在其中一个实施例中，装置还包括：报警解除模块，用于当接收到取消报警请求时，则解除报警信号，取消报警请求由用户在报警信号发送之后的预设时间内发送。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取监管环境的图像数据以及音频数据；基于图像数据以及音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，预设多模态识别模型基于监管环境下的多模态数据构建的场景数据训练得到；当根据多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及多模态识别结果识别预警信息中有效的预警信息；获取有效的预警信息的权重之和，当权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取监管环境的图像数据以及音频数据；基于图像数据以及音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，预设多模态识别模型基于监管环境下的多模态数据构建的场景数据训练得到；当根据多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及多模态识别结果识别预警信息中有效的预警信息；获取有效的预警信息的权重之和，当权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。上述静默报警方法、装置、计算机设备和存储介质，获取监管环境的图像数据和音频数据，从图像和声音两个方面入手，采用监管环境下的多模态数据构建的场景数据训练得到的多模态识别模型，对图像数据和声音数据进行多模态识别，得到多模态识别结果，综合考虑了监管环境的实际情况，提高危险判断的准确率，且当根据多模态识别结果生成预警信息时，还结合预设的预警信息过滤方法对预警信息进行筛选，过滤可能出现的误判的预警信息，保证报警的准确率，此外，当判断出现危险情况下，采用静默报警的方式进行自动报警，保证监管环境内的人员的安全。附图说明图1为一个实施例中静默报警方法的应用环境图；图2为一个实施例中静默报警方法的流程示意图；图3为另一个实施例中静默报警方法的详细流程示意图；图4为一个实施例中静默报警方法中图像识别步骤的流程示意图；图5为一个实施例中静默报警装置的结构框图；图6为另一个实施例中静默报警装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的静默报警方法，可以应用于如图1所示的应用环境中。监管环境以车辆为例，车辆内设置有多个麦克风以及多个摄像头，用于采集车辆的图像数据以及音频数据，其中摄像头采用固定分区的方式分别采集相应驾乘位的图像。可以是当车辆开始发动时或有车门关闭时，触发摄像头和麦克风的开机，摄像头和麦克风开始采集车辆内的图像数据以及音频数据，并将图像数据和音频数据实时发送至车辆内的处理器中，处理器获取图像数据以及音频数据，基于图像数据以及音频数据，采用预设多模态识别模型(预设多模态识别模型基于车辆下的多模态本文档来自技高网...

【技术保护点】
1.一种静默报警方法，所述方法包括：/n获取监管环境的图像数据以及音频数据；/n基于所述图像数据以及所述音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，所述预设多模态识别模型基于所述监管环境下的多模态数据构建的场景数据训练得到；/n当根据所述多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及所述多模态识别结果识别所述预警信息中有效的预警信息；/n获取有效的预警信息的权重之和，当所述权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。/n

【技术特征摘要】
1.一种静默报警方法，所述方法包括：
获取监管环境的图像数据以及音频数据；
基于所述图像数据以及所述音频数据，采用预设多模态识别模型进行多模态识别，得到多模态识别结果，所述预设多模态识别模型基于所述监管环境下的多模态数据构建的场景数据训练得到；
当根据所述多模态识别结果生成预警信息时，结合预设的预警信息过滤方法以及所述多模态识别结果识别所述预警信息中有效的预警信息；
获取有效的预警信息的权重之和，当所述权重之和超过预设阈值时，通过预设静默报警方式发送报警信号。


2.根据权利要求1所述的静默报警方法，其特征在于，所述基于所述图像数据以及所述音频数据，采用预设多模态识别模型进行多模态识别包括：
基于所述图像数据，采用所述预设多模态识别模型进行图像识别，识别出所述图像数据中的用户数据以及危险物品；
基于所述音频数据，采用所述预设多模态识别模型进行音频检测，识别所述音频数据是否包含触发生成预警信息的目标数据。


3.根据权利要求2所述的静默报警方法，其特征在于，所述预设多模态识别模型包括图像分类单元、动作分类单元以及物品检测定位单元；
所述基于所述图像数据，采用预设多模态识别模型进行图像识别，识别出所述图像数据中的用户数据以及危险物品包括：
采用所述图像分类单元对所述图像数据进行分类，识别出所述图像数据中的用户的年龄段和身体状态；
采用所述动作分类单元对所述图像数据进行动作检测，判断所述图像数据中的用户的动作是否危险；
采用所述物品检测定位单元对所述图像数据进行物品检测，识别所述监管环境是否存在危险物品。


4.根据权利要求1所述的静默报警方法，其特征在于，根据所述多模态识别结果生成预警信息包括：
当所述多模态识别结果包含下述至少一项时，生成预警信息；
第一项，识别出所述监管环境存在危险物品；
第二项，识别出所述用户的动...

【专利技术属性】
技术研发人员：杜思军，李阳，陈涛，高雷，李春燕，岳军锋，
申请(专利权)人：恒大新能源汽车科技广东有限公司，
类型：发明
国别省市：广东;44