一种基于智能视频分析的异常停车检测方法技术

本发明专利技术公开了一种基于智能视频分析的异常停车检测方法，方法包括使用卷积神经网络模型对当前视频帧进行目标检测，并获取当前视频帧中检测目标的属性信息，结合包含了当前视频帧的上一个视频帧所对应的时刻向历史时刻方向的预设时间段内不同车辆目标的属性信息的历史跟踪队列，分析判断当前视频帧中是否有未移动的车辆，通过增加行人检测，以及检测没有移动的车辆目标外的其他车辆目标是否移动，并根据检测结果综合判断异常停车情况。本发明专利技术提供的方法大幅度降低了异常停车的误报率和漏报率。

【技术实现步骤摘要】
一种基于智能视频分析的异常停车检测方法
本专利技术涉及智能视频分析
，具体涉及一种基于智能视频分析的异常停车检测方法。
技术介绍
在道路交通中，异常停车是一种影响通行效率，且时常会引发交通事故的交通违法行为。如何准确及时的检测出异常停车行为是交通监控系统中的一个关键功能。智能视频分析技术已被广泛应用于异常停车检测中，但由于现有技术的局限性，常存在误报、漏报的情况，影响判断异常停车的准确度，使得异常停车检测功能的实用性大打折扣。在基于智能视频分析的异常停车检测中，目标检测是关键，只有正确检测出监控视频中的人、车等运动目标，相应的功能才可能被实现。目标检测算法通常可以分为两大类：一类为基于传统图像算法的目标检测，另一类为基于深度学习算法的目标检测。近十多年来的研究和实践证明，无论在速度还是准确性方面，基于深度学习的目标检测要远高于传统的目标检测算法。
技术实现思路
本专利技术的目的：提供一种准确度高的基于智能视频分析的异常停车的检测方法。技术方案：本专利技术提供的基于智能视频分析的异常停车的检测方法，基于固定角度监控装置所捕获的视频图像实现异常停车检测，方法包括如下步骤：步骤1、获取当前视频帧，以及该视频帧对应的检测时间；步骤2、使用卷积神经网络模型对当前视频帧进行目标检测，获取当前视频帧中的各车辆目标，进而获取当前视频帧中车辆目标的属性信息；所述车辆目标的属性信息包括车辆在对应视频帧中的位置、车辆的特征向量、车辆第一次被检测到的时间、车辆最近一次被检测到的时间，以及车辆唯一标识的目标ID；步骤3、根据当前视频帧中车辆目标的属性信息以及跟踪队列，判断当前视频帧中是否存在没有移动的车辆目标，是则执行步骤4；否则对判断结果进行修正；所述跟踪队列为当前视频帧的上一个视频帧所对应的时刻向历史时刻方向的预设时间段内不同车辆目标的属性信息的集合；步骤4、分别针对当前视频帧中没有移动的各个车辆执行如下步骤：步骤401、结合跟踪队列，判断当前视频帧中没有移动的车辆目标的停留时间是否大于预设的异常停车时间阈值，是则执行步骤402，否则执行步骤5；步骤402、判断当前视频帧中是否有其他移动的车辆，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则执行步骤403；步骤403、判断当前视频帧中是否有行人目标，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为非异常停车，并执行步骤5；步骤5、更新跟踪队列信息。在步骤2中，使用卷积神经网络模型对视频帧进行目标检测中：使用包围矩形框对车辆目标进行标记，获取包围矩形框在对应视频帧中的位置坐标，并将获取的包围矩形框的位置坐标标记为对应车辆在视频帧中的位置。在步骤3中，判断当前视频帧中是否存在没有移动的车辆的方法具体包括如下步骤：对当前视频帧中的每个车辆目标j，j为当前视频帧中车辆目标的目标ID的值，执行如下操作：步骤301A、针对跟踪队列中的每一个车辆目标i，i为跟踪队列中车辆目标的目标ID的值：参照公式（1），计算车辆目标i的包围矩形框和车辆目标j的包围矩形框的交并比IoUij：IoUij=Interij/Unionij（1）其中，Interij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的交集，Unionij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的并集；Interij和Unionij的计算公式如下所示：Interij=Inter_Wij*Inter_Hij（2）Unionij=（righti–lefti）*（topi–bottomi）+（rightj–leftj）*（topj–bottomj）-Interij（3）Inter_Wij=max（0，min（righti,rightj）-max（lefti，leftj））（4）Inter_Hij=max（0，min（topi,topj）-max（bottomi，bottomj））（5）其中，Inter_Wij为车辆目标i的包围矩形框和车辆目标j的包围矩形框相交部分的宽度，Inter_Hij为车辆目标i的包围矩形框和车辆目标j的包围矩形框相交部分的高度；其中，lefti、topi分别为车辆目标i的包围矩形框中任一角点mi的横坐标和纵坐标，righti、bottomi分别为车辆目标i的包围矩形框中位于角点mi的对角位置的角点的横坐标和纵坐标；leftj、topj分别为车辆目标j的包围矩形框中任一角点mj的横坐标和纵坐标，rightj、bottomj分别为车辆目标j的包围矩形框中位于角点mj的对角位置的角点的横坐标和纵坐标；步骤302A、比较IoUij和预设的矩形框交并比阈值IoU_Threshold，若IoUij小于IoU_Threshold，判定车辆目标i和车辆目标j不在道路上的同一空间位置；否则判定车辆目标i和车辆目标j在道路上的同一空间位置，并执行步骤303A；步骤303A、根据公式（6）计算车辆i的特征向量和车辆目标j的特征向量之间的余弦距离Dist（IDj，IDi）：（6）其中，为对车辆目标i应用卷积神经网络获得的归一化的特征向量；为对车辆目标j应用卷积神经网络获得的归一化的特征向量经转置得到的向量；步骤304A、比较Dist（IDj，IDi）和预设的特征向量阈值Dist_Threshold，若Dist（IDj，IDi）≤Dist_Threshold，判定车辆i与车辆j为同一车辆，车辆j未发生移动；否则判定车辆j发生了移动。在步骤3中，判断当前视频帧中是否存在没有移动的车辆的方法具体包括如下步骤：对当前视频帧中的每个车辆目标j，j为当前视频帧中车辆目标的目标ID的值，执行如下操作：步骤301B、针对跟踪队列中的每一个车辆目标i，i为跟踪队列中车辆目标的目标ID的值：参照公式（1），计算车辆目标i的包围矩形框和车辆目标j的包围矩形框的交并比IoUij：IoUij=Interij/Unionij（1）其中，Interij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的交集，Unionij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的并集；Interij和Unionij的计算公式如下所示：Interij=Inter_Wij*Inter_Hij（2）Unionij=（righti–lefti）*（topi–bottomi）+（rightj–leftj）*（topj–bottomj）-Interij（3）Inter_Wij=max（0，min（righti,rightj）-max（lefti，leftj））（4）Inter_Hij=max（0，min（topi,topj）-max（bottomi，bottom本文档来自技高网...

【技术保护点】
1.一种基于智能视频分析的异常停车检测方法，基于固定角度监控装置所捕获视频图像实现异常停车检测，其特征在于，所述方法包括实时执行如下步骤：/n步骤1、获取当前视频帧，以及该视频帧对应的检测时间；/n步骤2、使用卷积神经网络模型对当前视频帧进行目标检测，获取当前视频帧中的各车辆目标，进而获取当前视频帧中车辆目标的属性信息；所述车辆目标的属性信息包括车辆在对应视频帧中的位置、车辆的特征向量、车辆第一次被检测到的时间、车辆最近一次被检测到的时间，以及车辆唯一标识的目标ID；/n步骤3、根据当前视频帧中车辆目标的属性信息以及跟踪队列，判断当前视频帧中是否存在没有移动的车辆目标，是则执行步骤4；否则对判断结果进行修正；所述跟踪队列为当前视频帧的上一个视频帧所对应的时刻向历史时刻方向的预设时间段内不同车辆目标的属性信息的集合；/n步骤4、分别针对当前视频帧中没有移动的各个车辆执行如下步骤：/n步骤401、结合跟踪队列，判断当前视频帧中没有移动的车辆目标的停留时间是否大于预设的异常停车时间阈值，是则执行步骤402，否则执行步骤5；/n步骤402、判断当前视频帧中是否有其他移动的车辆，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则执行步骤403；/n步骤403、判断当前视频帧中是否有行人目标，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为非异常停车，并执行步骤5；/n步骤5、更新跟踪队列信息。/n...

【技术特征摘要】
1.一种基于智能视频分析的异常停车检测方法，基于固定角度监控装置所捕获视频图像实现异常停车检测，其特征在于，所述方法包括实时执行如下步骤：
步骤1、获取当前视频帧，以及该视频帧对应的检测时间；
步骤2、使用卷积神经网络模型对当前视频帧进行目标检测，获取当前视频帧中的各车辆目标，进而获取当前视频帧中车辆目标的属性信息；所述车辆目标的属性信息包括车辆在对应视频帧中的位置、车辆的特征向量、车辆第一次被检测到的时间、车辆最近一次被检测到的时间，以及车辆唯一标识的目标ID；
步骤3、根据当前视频帧中车辆目标的属性信息以及跟踪队列，判断当前视频帧中是否存在没有移动的车辆目标，是则执行步骤4；否则对判断结果进行修正；所述跟踪队列为当前视频帧的上一个视频帧所对应的时刻向历史时刻方向的预设时间段内不同车辆目标的属性信息的集合；
步骤4、分别针对当前视频帧中没有移动的各个车辆执行如下步骤：
步骤401、结合跟踪队列，判断当前视频帧中没有移动的车辆目标的停留时间是否大于预设的异常停车时间阈值，是则执行步骤402，否则执行步骤5；
步骤402、判断当前视频帧中是否有其他移动的车辆，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则执行步骤403；
步骤403、判断当前视频帧中是否有行人目标，是则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为异常停车，并执行步骤5；否则判定步骤401中没有移动且停留时间大于预设的异常停车时间阈值的车辆为非异常停车，并执行步骤5；
步骤5、更新跟踪队列信息。


2.根据权利要求1所述的基于智能视频分析的异常停车检测方法，其特征在于，在步骤2中，使用卷积神经网络模型对视频帧进行目标检测中：使用包围矩形框对车辆目标进行标记，获取包围矩形框在对应视频帧中的位置坐标，并将获取的包围矩形框的位置坐标标记为对应车辆在视频帧中的位置。


3.根据权利要求2所述的基于智能视频分析的异常停车检测方法，其特征在于，在步骤3中，判断当前视频帧中是否存在没有移动的车辆的方法具体包括如下步骤：
对当前视频帧中的每个车辆目标j，j为当前视频帧中车辆目标的目标ID的值，执行如下操作：
步骤301A、针对跟踪队列中的每一个车辆目标i，i为跟踪队列中车辆目标的目标ID的值：参照公式（1），计算车辆目标i的包围矩形框和车辆目标j的包围矩形框的交并比IoUij：
IoUij=Interij/Unionij（1）
其中，Interij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的交集，Unionij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的并集；Interij和Unionij的计算公式如下所示：
Interij=Inter_Wij*Inter_Hij（2）
Unionij=（righti–lefti）*（topi–bottomi）+（rightj–leftj）*（topj–bottomj）-Interij（3）
Inter_Wij=max（0，min（righti,rightj）-max（lefti，leftj））（4）
Inter_Hij=max（0，min（topi,topj）-max（bottomi，bottomj））（5）
其中，Inter_Wij为车辆目标i的包围矩形框和车辆目标j的包围矩形框相交部分的宽度，Inter_Hij为车辆目标i的包围矩形框和车辆目标j的包围矩形框相交部分的高度；其中，lefti、topi分别为车辆目标i的包围矩形框中任一角点mi的横坐标和纵坐标，righti、bottomi分别为车辆目标i的包围矩形框中位于角点mi的对角位置的角点的横坐标和纵坐标；leftj、topj分别为车辆目标j的包围矩形框中任一角点mj的横坐标和纵坐标，rightj、bottomj分别为车辆目标j的包围矩形框中位于角点mj的对角位置的角点的横坐标和纵坐标；
步骤302A、比较IoUij和预设的矩形框交并比阈值IoU_Threshold，若IoUij小于IoU_Threshold，判定车辆目标i和车辆目标j不在道路上的同一空间位置；否则判定车辆目标i和车辆目标j在道路上的同一空间位置，并执行步骤303A；
步骤303A、根据公式（6）计算车辆i的特征向量和车辆目标j的特征向量之间的余弦距离Dist（IDj，IDi）：

（6）
其中，为对车辆目标i应用卷积神经网络获得的归一化的特征向量；为对车辆
目标j应用卷积神经网络获得的归一化的特征向量经转置得到的向量；
步骤304A、比较Dist（IDj，IDi）和预设的特征向量阈值Dist_Threshold，若Dist（IDj，IDi）≤Dist_Threshold，判定车辆i与车辆j为同一车辆，车辆j未发生移动；否则判定车辆j发生了移动。


4.根据权利要求2所述的基于智能视频分析的异常停车检测方法，其特征在于，在步骤3中，判断当前视频帧中是否存在没有移动的车辆的方法具体包括如下步骤：
对当前视频帧中的每个车辆目标j，j为当前视频帧中车辆目标的目标ID的值，执行如下操作：
步骤301B、针对跟踪队列中的每一个车辆目标i，i为跟踪队列中车辆目标的目标ID的值：参照公式（1），计算车辆目标i的包围矩形框和车辆目标j的包围矩形框的交并比IoUij：
IoUij=Interij/Unionij（1）
其中，Interij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的交集，Unionij为车辆目标i的包围矩形框和车辆目标j的包围矩形框的并集；Interij和Unionij的...

【专利技术属性】
技术研发人员：马小骏，贺安鹰，华漪，刘超，邬志烨，白波，
申请(专利权)人：江苏金智慧安科技有限公司，
类型：发明
国别省市：江苏;32