一种基于帧差法和语义分割结合的道路抛洒物识别方法技术

本发明专利技术公开了一种基于帧差法和语义分割结合的道路抛洒物识别方法，包括：获取监控位置的目标视频流数据；设定背景帧窗口，设置指针基于设定的背景帧窗口大小读取视频流；每读取一个背景帧窗口的图像数据，计算当前时刻的背景；基于相邻时刻的背景，计算下一时刻背景和当前时刻背景的背景差；进而获得背景帧差图；计算得到的背景帧差图中黑色像素点的比例，判定是否为疑似抛洒物滞留；并对出现疑似抛洒物的背景帧差图进行语义分割，判定其是否为落在目标道路上的抛洒物。本发明专利技术通过帧差法和语义分割相结合实现道路抛洒物的识别，降低了环境因素的影响，提高了识别的准确性。提高了识别的准确性。提高了识别的准确性。

【技术实现步骤摘要】
一种基于帧差法和语义分割结合的道路抛洒物识别方法


[0001]本专利技术涉及道路上抛洒物识别
，特别涉及一种基于帧差法和语义分割结合的道路抛洒物识别方法。

技术介绍

[0002]随着经济和公路建设的发展，车辆成为商业运输以及人们出行的主要方式之一，道路上一旦发生交通事故,会造成重大人员伤亡和财产损失，抛洒物的出现，目前是道路交通事故原因之一，其危险程度较高，尤其在隧道、公路上，车流量大、车速较快，抛洒物的影响更为明显，因而，道路安全问题成了人们关注的焦点。抛洒物检测是目标检测领域的一个重要部分。通过道路监控图像进行抛洒物检测能够尽可能地减少道路安全隐患，提升高速公路行驶的安全性。
[0003]目前高速公路抛洒物识别方面，检测算法大多还是采取深度学习神经网络对场景进行深度学习，利用学习的成果再对实际场景中的抛洒物进行识别。这种解决方案的思路在于将抛洒物识别任务转化为目标识别，在对深度学习网络或算法进行大量训练后使用在学习中得到的经验和一系列参数对陌生的场景进行识别。常见的深度学习网络包括resnet等，常见的目标识别算法包括yolo，R
‑
CNN系列等。目前这种技术有存在以下问题。
[0004]1、抛洒物种类多种多样，利用传统的目标识别算法(如yolo)的现有识别方案难以对抛洒物进行有效识别。
[0005]2、传统的深度学习网络难以对多种不同背景和环境下的抛洒物进行有效识别，如隧道，夜间和不良天气的环境背景。
[0006]3、传统的目标识别算法容易受到视频噪声的不利影响，在实际应用场景中，由于监控摄像头不会永远保持在最佳工作状态，这样就不时会出现噪声的影响，而这种影响对于传统的解决方案会造成很大的麻烦。
[0007]4、在传统的算法将熟悉环境的学习成果和系统参数转移到多种多样的陌生环境时，学习成果的正确性会打折扣。
[0008]5、交通意外事件属于偶发性事件，当交通意外发生时，由于各种客观原因限制，能采集到的清晰地视频或图片数量有限，清晰度也难以保证，现有利用深度学习的识别方法往往很依赖于数据的多样性和可靠性，在数据集不足或者数据的多样性不足的情况下，往往很难达到指标要求。

技术实现思路

[0009]为解决上述问题，本专利技术提供了一种基于帧差法和语义分割结合的道路抛洒物识别方法，采用了帧差法和语义分割结合的模式对高速公路抛洒物进行识别，先通过对视频流数据进行帧读取，利用相邻帧的背景差图像进行抛洒物的一次识别，进而对疑似抛洒物的目标原帧图像进行语义分割，实现最终的分类识别，利用帧差法进行抛洒物的初识别，克服了环境等因素对目标检测的影响，对疑似目标原帧图像进行语义识别，保证了最终识别
效果的准确性，同时两者结合，增强了算法的可迁移性。
[0010]本专利技术提供了一种基于帧差法和语义分割结合的道路抛洒物识别方法，具体技术方案如下：
[0011]获取监控位置的目标视频流数据；
[0012]设定背景帧窗口，设置指针基于设定的背景帧窗口大小读取视频流；
[0013]每读取一个背景帧窗口的图像数据，将前x
‑
1帧和当前帧的图像画面作为一个窗口，通过中值法，计算当前时刻的背景；
[0014]基于相邻时刻的背景，计算下一时刻背景和当前时刻背景的背景差；
[0015]对背景差图像进行图像处理操作，获得背景帧差图；
[0016]计算得到的所述背景帧差图中黑色像素点的比例，当比例超过设定阈值时，判定当前监控检测的路面上有疑似抛洒物滞留；
[0017]对出现疑似抛洒物的背景帧差图进行语义分割，判定其是否为落在目标道路上的抛洒物。
[0018]进一步的，当前时刻的背景，计算过程如下：
[0019]在基于背景帧窗口读取过程中，从读取的背景帧窗口中记录各帧中每个区域出现颜色的持续时间；
[0020]将持续时间超过设定时间阈值的颜色，判定为这个小区域的背景色。
[0021]进一步的，所述图像处理，为对所述背景差图像依次进行灰度化处理、二值化处理和降噪处理。
[0022]进一步的，所述语义分割采用被检测出疑似抛洒物滞留的当前帧的原帧画面。
[0023]进一步的，所述语义分割采用mmsegmentation模型。
[0024]进一步的，mmsegmentation模型采用The Highway Driving Dataset数据集进行训练。
[0025]本专利技术的有益效果如下：
[0026]基于设定背景帧窗口通过指针对视频流数据进行读取，能够对监控摄像的视频流进行实时处理，通过计算相邻帧的背景差，并经过图像处理获得背景帧差图，通过计算像素点比例，实现抛洒物的初次识别，再通过语义分割进行进一步的识别，判断物体种类，并对路面上有物体停留的情况实时发出报警，利用帧差法和语义分割结合，实现对道路抛洒物的精确识别，同时克服了环境造成的识别困难的影响。
附图说明
[0027]图1是本专利技术的方法流程示意图。
具体实施方式
[0028]在下面的描述中对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]在本专利技术实施例的描述中，需要说明的是，指示方位或位置关系为基于附图所示
的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]在本专利技术实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以通过中间媒介间接连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0031]实施例1
[0032]本专利技术的实施例1公开了一种基于帧差法和语义分割结合的道路抛洒物识别方法，如图1所示，首先通过帧差法进行抛洒物的一次识别；
[0033]帧差法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。
[0034]一段视频是由若干个帧构成的，帧实质上是一张静止的图片，对一系列静止图片快速播放即可构成整个视频，其原理是使用当前帧和过去的若干帧进行比较，当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于帧差法和语义分割结合的道路抛洒物识别方法，其特征在于，包括：获取监控位置的目标视频流数据；设定背景帧窗口，设置指针基于设定的背景帧窗口大小读取视频流；每读取一个背景帧窗口的图像数据，将前x
‑
1帧和当前帧的图像画面作为一个窗口，通过中值法，计算当前时刻的背景；基于相邻时刻的背景，计算下一时刻背景和当前时刻背景的背景差；对背景差图像进行图像处理操作，获得背景帧差图；计算得到的所述背景帧差图中黑色像素点的比例，当比例超过设定阈值时，判定当前监控检测的路面上有疑似抛洒物滞留；对出现疑似抛洒物的背景帧差图进行语义分割，判定其是否为落在目标道路上的抛洒物。2.根据权利要求1所述的道路抛洒物识别方法，其特征在于，当前时刻的背景，计算过程如下：在基于背景帧窗口读取过程中，从...

【专利技术属性】
技术研发人员：柯巍，符凯娟，高泽，
申请(专利权)人：甘肃新视能科技有限公司，
类型：发明
国别省市：