【技术实现步骤摘要】
本专利技术属于暴力检测及跟踪，具体涉及一种基于音视频的暴力行为检测及追踪方法。
技术介绍
1、随着科技和时代的飞速发展，摄像头技术和人工智能(ai)的进步为社会治安和公共安全提供了新的解决方案。传统的安全监控系统在暴力事件发生时，往往存在高延迟、精度低、依赖人工干预等问题。
2、传统的监控系统往往只能在事后提供视频资料，缺乏实时预警和干预的能力，使得暴力事件的预防和控制面临巨大挑战。尽管各地在加强治安管理方面做出了诸多努力，但仅依靠人力巡逻和传统的监控设备，往往难以及时发现和制止这些突发性暴力事件。基于摄像头的肢体捕捉暴力检测与报警系统正是在此背景下应运而生，旨在通过高效的技术手段，提升暴力事件的实时检测、追踪和响应能力，并具备暴力人员身份抽取等能力。
3、综上所述，现有暴力事件检测方法仍然存在检测精度低、响应速度慢、对硬件依赖程度高以及需要人工干预的问题，因此，如何利用先进的技术手段来提高对暴力事件检测的精度、对暴力事件的响应速度、减少对硬件的依赖并且摆脱人工干预，成为了当前社会治安管理的重要课题。
技术实现思路
1、本专利技术的目的是为解决现有暴力事件检测方法存在检测精度低、响应速度慢、对硬件依赖程度高以及需要人工干预的问题，而提出了一种基于音视频的暴力行为检测及追踪方法。
2、本专利技术为解决上述技术问题所采取的技术方案是：一种基于音视频的暴力行为检测及追踪方法，所述方法具体包括以下步骤：
3、步骤一、对当前帧监控视频和当前帧监
4、步骤二、将当前帧监控视频被识别为暴力的概率与暴力辨别阈值进行比较，根据比较结果获得对当前帧监控视频的暴力识别结果；
5、步骤三、根据历史监控视频的暴力识别结果和当前帧监控视频的暴力识别结果进行时序滤波，根据时序滤波结果判断是否需要进行暴力响应；
6、若需要进行暴力响应，则提取当前帧监控视频中的暴力人员信息后，再执行步骤四；
7、若不需要进行暴力响应，则直接执行步骤四；
8、步骤四、移动摄像头到下一位置继续采集下一帧监控视频，再对采集的下一帧监控视频返回执行步骤一。
9、本专利技术的有益效果是：
10、本专利技术使用3d-cnn模型对视频数据进行特征抽取，使用svm对视频数据进行暴力检测，音频数据使用梅尔特征和2d-cnn模型进行暴力检测，通过综合视频数据和音频数据的暴力识别结果，再基于历史暴力识别结果对当前暴力识别结果进行误识别消除，可以提高暴力识别的精度，并基于历史信息控制摄像头向可能发生暴力的方向移动，提高了单个摄像头探测的范围，保证对暴力的响应和跟踪。暴力人员信息提取部分采用yolo模型对暴力人员位置进行识别，并对暴力人员进行身份特征抽取。本专利技术的暴力行为检测及跟踪方法可以对暴力进行实时检测以便进行快速响应，具有检测精度高、响应速度快、对硬件依赖低，且全程不需要人工干预的特点，因此，能提升暴力事件的实时检测、追踪和响应能力，以提高公共安全。
11、通过实验表明，本专利技术的暴力行为检测方法在ubi数据集和hockey数据集上的精度均可以达到97％左右。
本文档来自技高网...【技术保护点】
1.一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述方法具体包括以下步骤：
2.根据权利要求1所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述对当前帧监控视频和当前帧监控视频对应的音频分别进行暴力识别，具体为：
3.根据权利要求2所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述对支持向量机或全连接神经网络的输出进行概率校准，具体为：
4.根据权利要求3所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述步骤二中，将当前帧监控视频被识别为暴力的概率与暴力辨别阈值进行比较，根据比较结果获得对当前帧监控视频的暴力识别结果；具体过程为：
5.根据权利要求4所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述步骤三中，根据历史监控视频的暴力识别结果和当前帧监控视频的暴力识别结果进行时序滤波，根据时序滤波结果判断是否需要进行暴力响应；具体过程为：
6.根据权利要求4所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述步骤三中，根据历史监控视频的暴力识别结果和当前帧监控
7.根据权利要求5或6所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述移动摄像头到下一位置继续采集下一帧监控视频，移动到的目标位置的计算方法为：
8.根据权利要求5或6所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述移动摄像头到下一位置继续采集下一帧监控视频，移动到的目标位置的计算方法为：
9.根据权利要求7所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述中间变量w的计算方法为：
10.根据权利要求1所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述提取当前帧监控视频中的暴力人员信息的具体过程为：
...【技术特征摘要】
1.一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述方法具体包括以下步骤：
2.根据权利要求1所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述对当前帧监控视频和当前帧监控视频对应的音频分别进行暴力识别，具体为：
3.根据权利要求2所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述对支持向量机或全连接神经网络的输出进行概率校准，具体为：
4.根据权利要求3所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述步骤二中，将当前帧监控视频被识别为暴力的概率与暴力辨别阈值进行比较，根据比较结果获得对当前帧监控视频的暴力识别结果；具体过程为：
5.根据权利要求4所述的一种基于音视频的暴力行为检测及追踪方法，其特征在于，所述步骤三中，根据历史监控视频的暴力识别结果和当前帧监控视频的暴力识别结果进行时序滤波，根据时序滤波结果判断是否需要进行暴力响应；具体过程...
【专利技术属性】
技术研发人员：张羽，韩为，李林昊，庄镐宇，杨萌宇，秦兵，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。