一种融合差分视频序列和卷积神经网络的抛洒物检测方法技术

一种融合差分视频序列和卷积神经网络的抛洒物检测方法，构建场景的静态背景模型，然后通过基于高斯加权的背景差分法构建差分视频序列，提取前景，再提取前景中的静止目标，并和卷积神经网络模型相结合，分析排除前景静止目标中的非抛洒物，检测出当前视频帧的抛洒物。本发明专利技术充分利用隧道现有监控设施，可最大限度节省硬件投入，可以自动实时监测隧道内抛洒物事件的出现，实现了隧道交通中抛洒物事件检测的道路智能化。检测的道路智能化。检测的道路智能化。

【技术实现步骤摘要】
一种融合差分视频序列和卷积神经网络的抛洒物检测方法


[0001]本专利技术属于视频图像处理
，涉及隧道视频监测，为一种融合差分视频序列和卷积神经网络的抛洒物检测方法。

技术介绍

[0002]近年随着我国经济快速发展，城市公路的体量已不满足日益增长的车辆行驶，隧道作为城市交通的补充，发挥着重要作用。隧道路面不如城市公路宽阔，且内部车辆在行驶过程中通常不可变道，若存在抛洒物遗留在路面，极易引起交通事故。通过计算机视觉技术感知隧道路面遗落的抛洒物，以自动监测代替人工监管，从海量视频中快速定位抛洒物的位置并作出预警，对提高隧道路面安全和道路信息化水平有着重要意义。
[0003]在实际的隧道监控环境下，人工照明和车辆灯光的干扰使得隧道内目标的轮廓阴影等特征呈现不一，而且，抛洒物样本多样，而需要先验模型的深度学习方法无法构建统一的模型来检测所有的抛洒物。在隧道这一特定环境下，抛洒物检测是一个具有挑战的问题。

技术实现思路

[0004]本专利技术要解决的问题是：随着隧道的大量建设，隧道内视频监控数量庞大，仅依靠人工无法及时察觉路面抛洒物事件并完成清障。目前有一些方法通过对抛洒物模型的特征学习来检测，也有采用帧间差分法来检测抛洒目标。但是，一方面，隧道路面出现的抛洒物种类繁多，受到隧道内人工照明和行驶汽车灯光的照射，即使是同一位置像素点在不同时刻也会呈现出不同的特征信息，仅依靠学习训练难以囊括所有抛洒物；另一方面，通过传统帧间差分法如果无法短时间准确检测出抛洒物，则会快速融入背景，再也无法检测到已经融入背景的抛洒物，另外基于传统帧间差分法只能检测前景，对于前景中的物体还需要通过阈值或者训练模型判断，而没有海量的抛洒物数据是无法表征所有的抛洒物类别的。
[0005]本专利技术的技术方案为：一种融合差分视频序列和卷积神经网络的抛洒物检测方法，构建场景的静态背景模型，然后通过基于高斯加权的背景差分法构建差分视频序列，提取前景，再提取前景中的静止目标，并和卷积神经网络模型相结合，分析排除前景静止目标中的非抛洒物，检测出当前视频帧的抛洒物。
[0006]进一步的，本专利技术包括以下步骤：
[0007]Step1：静态背景模型构建，采集车流量密度较小时段的监控视频，学习得到静态背景模型；
[0008]Step2：差分视频序列的构建，获取监控视频的视频帧，逐帧与静态背景模型进行基于高斯加权的背景差分，提取出差分的前景后，得到一个连续帧数大小为N的差分视频序列；
[0009]Step3：前景静止物体的提取，对于所获的差分视频序列，若差分视频序列中同一像素点位置为前景的概率超过设定阈值，则判定为前景中的静止目标，否则为运动目标，然后对前景进行形态学操作，再通过边缘检测获取前景静止目标的边缘，对所得边缘进行膨
胀腐蚀，将相邻边缘进行合并，最后通过轮廓检测，获取静止目标在监控视频对应视频帧中的坐标信息；
[0010]Step4：构建目标检测卷积神经网络，对设定的非抛洒物进行预训练，得到对非抛洒物检测识别的卷积神经网络模型，将监控视频当前帧输入到卷积神经网络模型中，识别出当前帧中的的非抛洒物体；
[0011]Step5：抛洒物分析预警，对应监控视频的视频帧设置抛洒物预警信号序列，序列初始值为0，将前景中提取的静止目标的候选框和卷积神经网络识别的非抛洒物体的候选框通过交并比进行重叠率筛选，排除掉静止目标中的非抛洒物，剩下的则判为抛洒物，若当前帧检测出抛洒物，则将当前帧对应的抛洒物预警信号序列的值更新为1，表示当前帧出现抛洒物，完成对一段差分视频序列的抛洒物检测后，统计抛洒物预警信号序列中抛洒物出现的频率，若超过设定阈值，则在当前帧中标记出抛洒物，并预警上报。
[0012]现有技术的背景差分算法根据绝对阈值或平均阈值进行处理，但是隧道场景具有局部区域过亮或者过暗的特点，现有技术的差分方法无法适用，不能有效提取前景。本专利技术针对隧道内车辆灯光和照明灯光对隧道区域的影响，增加局部区域色彩信息特征的权重，采用基于高斯加权的背景差分法，排除阴影和闪烁车灯干扰，再进行背景差分，提取出轮廓明显的前景。
[0013]隧道内行驶路面狭小，抛洒物从出现到落地的持续时间短暂，无法用常规帧差法检测，且隧道内行驶车辆灯光不断移动或闪烁，给道路抛洒物颜色等特征信息带来的干扰，本专利技术通过学习静态背景模型，构建差分视频序列，若同一像素点位置的前景出现概率在此时的差分视频序列中超过一定阈值，则检测为前景中的静止目标，以抑制车辆灯光的移动或闪烁。
[0014]本专利技术针对目前深度学习难以囊括所有的抛洒物特征问题，先根据差分视频序列的前景频率有效提取静止前景，利用卷积神经网络识别出人、车、交通锥等非抛洒物体，再与前景中的静止目标进行重叠率计算，通过设置抛洒物预警信号序列提高检测的准确率，若预警序列中抛洒物出现频率超过一定阈值，则在当前视频帧框出抛洒物，同时预警上报给工作人员及时清障。
[0015]本专利技术充分利用隧道现有监控设施，可最大限度节省硬件投入，可以自动实时监测隧道内抛洒物事件的出现，实现了隧道交通中抛洒物事件检测的道路智能化。
附图说明
[0016]图1为本专利技术融合差分视频序列和卷积神经网络的抛洒物检测流程图。
[0017]图2为本专利技术应用于真实隧道场景下的抛洒物检测实施例一。
[0018]图3为本专利技术应用于真实隧道场景下的抛洒物检测实施例二。
具体实施方式
[0019]本专利技术结合传统帧差方法与深度学习方法，可显著提高隧道内抛洒物事件的识别准确度。考虑到隧道内人工照明和汽车照明对场景的干扰，以及利用先验模型构造训练集的深度学习方法不适用于特征多样化的抛洒物检测。本专利技术学习静态背景模型，采用基于局部区域的高斯加权背景差分法提取前景，构造差分视频序列，通过前景像素点出现频率
分析得到前景中静止物体，利用深度学习识别人、车、椎顶等非抛洒物体，与前景中的静止目标通过交并比等参数进行重叠率计算，然后在划定的路面区域进行抛洒物预警分析，识别出隧道路面抛洒物事件并上传抛洒物预警信号。
[0020]本专利技术的流程示意图如图1所示。
[0021]所述的隧道抛洒物检测具体实现步骤如下：
[0022]Step1：静态背景模型构建，采集车流量密度较小时段的监控视频，车流量较小时段一般考虑为在当前监控摄像机监控的道路，连续10秒内每一监控画面帧上显示的车辆总数不超过10辆，本专利技术这里没有直接采用无车辆的视频，是为了进一步提高背景模型构建的鲁棒性。对采集的监控视频每隔12帧取1帧，共取N0帧，再将这些帧根据对应的像素位置，对同一位置的像素值进行累加平均，作为静态背景对应位置的像素值，计算公式如下；
[0023][0024]式中，N0默认为300，f
i
(x0，y0)为第i帧(x0，y0)位置对应的像素值，Background0(x0，y0)为生成的背景模型帧(x0，y0)位置对应的像素值。
[0025]Step2：差分视频序列的构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合差分视频序列和卷积神经网络的抛洒物检测方法，其特征是构建场景的静态背景模型，然后通过基于高斯加权的背景差分法构建差分视频序列，提取前景，再提取前景中的静止目标，并和卷积神经网络模型相结合，分析排除前景静止目标中的非抛洒物，检测出当前视频帧的抛洒物。2.根据权利要求1所述的一种融合差分视频序列和卷积神经网络的抛洒物检测方法，其特征是包括以下步骤：Step1：静态背景模型构建，采集待检测路段的监控视频，学习得到静态背景模型；Step2：差分视频序列的构建，获取监控视频的N帧视频帧，视频帧与静态背景模型分别进行高斯加权二值化后再差分，提取出差分的前景，得到一个连续帧数大小为N的差分视频序列；Step3：前景静止物体的提取，对于所获的差分视频序列，若差分视频序列中同一像素点位置为前景的概率超过设定阈值，则判定为前景中的静止目标，否则为运动目标，然后对前景进行形态学操作，再通过边缘检测获取前景静止目标的边缘，对所得边缘进行膨胀腐蚀，将相邻边缘进行合并，最后通过轮廓检测，获取静止目标在监控视频对应视频帧中的坐标信息；Step4：构建目标检测卷积神经网络，对设定的非抛洒物进行预训练，得到对非抛洒物检测识别的卷积神经网络模型，将监控视频当前帧输入到卷积神经网络模型中，识别出当前帧中的的非抛洒物体；Step5：抛洒物分析预警，对应监控视频的视频帧设置抛洒物预警信号序列，序列初始值为0，将前景中提取的静止目标的候选框和卷积神经网络识别的非抛洒物体的候选框通过交并比进行重叠率筛选，排除掉静止目标中的非抛洒物，剩下的则判为抛洒物，若当前帧检测出抛洒物，则将当前帧对应的抛洒物预警信号序列的值更新为1，表示当前帧出现抛洒物，完成对一段差分视频序列的抛洒物检测后，统计抛洒物预警信号序列中抛洒物出现的频率，若超过设定阈值，则在当前帧中标记出抛洒物，并预警上报。3.根据权利要求2所述的一种融合差分视频序列和卷积神经网络的抛洒物检测方法，其特征是Step1中，采集待检测路段车流量密度较小的监控视频，连续10秒内每一监控画面帧上显示的车辆总数不超过10辆，对采集的监控视频每隔n帧取1帧，共取N0帧，再将这些帧根据对应的像素位置，对同一位置的像素值进行累加平均，作为静态背景对应位置的像素值。4.根据权利要求2所述的一种融合差分视频序列和卷积神经网络的抛洒物检测方...

【专利技术属性】
技术研发人员：阮雅端，唐正东，朱一鸣，沈阳，邵长宜，陈启美，
申请(专利权)人：南京大学，
类型：发明
国别省市：