基于视频拍摄帧图像提取叠加的动态路口前景去除方法技术

本发明专利技术属于智慧交通控制技术领域，提出了基于视频拍摄帧图像提取叠加的动态路口前景去除方法，即将相对于路口长期固定不变的道路、标线、交通设施等以外的固定物体，运动及静止状态的机动车、非机动车、行人，随阳光角度变化的建筑物、树木、交通设施阴影去除的方法称为前景去除，本方法通过对原始拍摄视频图像采样得到帧图像并进行前景去除，将去除前景后的帧图像按时序叠加形成目标视频；再通过深度学习算法与历史目标视频进行比对补全，得到路口完整无各种车辆、行人和建筑物、树木、交通设施阴影的干净的目标视频，以利于下一步智慧交通控制界面拓展的工作。同时解决了服务器空间不足产生的设备投资以及影响新技术在应用领域推广等问题。推广等问题。推广等问题。

【技术实现步骤摘要】
基于视频拍摄帧图像提取叠加的动态路口前景去除方法


[0001]本专利技术属于智慧交通控制
，涉及基于视频拍摄帧图像提取叠加的动态路口前景去除方法，即将相对于路口长期固定不变的道路、标线、交通设施等以外的固定物体，运动及静止状态的机动车、非机动车、行人，随阳光角度变化的建筑物、树木、交通设施阴影去除的方法称为前景去除，通过对原始视频进行一定时间间隔采样得到的帧图像作前景去除，再将去除前景的帧图像按时序叠加形成完整无各种车辆和行人的干净的视频以利于智慧交通进行景象合成的后期控制用途。

技术介绍

[0002]城市交叉路口是城市道路中环境最复杂、参与者最多、问题状况最频繁的交通场景。它是道路交通系统的节点和枢纽，承担了大量交通流量。在城市交叉路口场景的智慧交通管理控制中，迫切需要在指挥中心的中央控制平台、区域交通控制机显示界面端呈现既有路口实景，又无在该路口的机动车、非机动车和行人等路口前景，以利于实现将智慧交通系统预设定的虚拟车辆、行人景象任意放入该路口中进行模拟指挥调控，以实现智慧交通管理的目的。
[0003]智慧交通控制系统必须依赖路口场景可视化作为实施前提，首先要打造该路口的无各种车辆、无任何行人及路边的建筑物、树木、交通设施阴影的三维实景，传统的视频采集方式多为卫星、无人机、摄像系统，以上途径采集的路口实时视频人流车流复杂，无法生成纯净无车辆和人员的三维实景路口，所以就要利用实时路口干净的实景图像替换实时视频图像中的车辆、行人及各种阴影等，从而产生了动态路口前景去除技术。
[0004]现有的动态路口前景去除方法是通过边缘计算将路口四个方向拍摄的原始视频直接进行前景去除，输出车道级车牌、属性、车速、位置、行驶姿态等交通元数据，全面刻画路口交通运行状况，从而导致服务器运算量非常庞大，对服务器造成严重负担，甚至增大服务器瘫痪的风险。
[0005]专利技术人发现，纯净无车辆和人员的三维实景路口在较短的时间间隔内一般是没有较大变化的，将连续的原始视频以一定时间间隔提取单帧图像，将提取的单帧图像进行前景去除后再按时序叠加形成完整低帧数的去前景视频，在得到去除前景后的路口实景视频的同时，很大程度的缓解了服务器的运算负担，既增加了服务器运算速度提高实时性，又降低了服务器瘫痪的风险，节省了设备投资成本。

技术实现思路

[0006]本专利技术提出的基于视频拍摄帧图像提取叠加的动态路口前景去除方法，将连续的原始视频以一定时间间隔提取单帧图像，提取的单帧图像进行前景去除后再按时序叠加形成完整低帧数的去前景视频，在得到去除前景后的路口实景视频的同时，很大程度的缓解了服务器的运算负担，既增加了服务器运算速度提高实时性，又降低了服务器瘫痪的风险。
[0007]本专利技术的技术方案是这样实现的：
基于视频拍摄帧图像提取叠加的动态路口前景去除方法，包括S1：将路口拍摄的时长T的原始视频进行间隔为t的帧图像提取，得到单帧图像集合Q；S2：以T1为周期将单帧图像集合Q分成M个单帧图像子集Q
M
；S3：对M个单帧图像子集Q
M
进行前景去除,得到去除动态前景的目标灰度单帧图像子集Q”M
；S4：将M个目标灰度单帧图像子集Q”M
分别按时序叠加形成M个目标灰度视频V
M
，目标灰度视频V
M
经逆运算得到目标彩色视频V
’
M
，M个彩色视频V
’
M
按时序组成最终完整的去除前景彩色视频V；S5：对每天、每月选取特征时刻，通过深度学习算法对特征时刻的目标视频V
M
进行比对修正，得到完整无各种车辆、行人和阴影的干净的去前景彩色视频V；进一步的，步骤S1包括，时长T的原始视频以时间间隔t提取第i帧图像（i∈1,2,3......n）得到N=T/t个单帧图像，其中n为每一个时间t内包含的单帧图像的数量（n为整数），N个单帧图像的集合为Q={i，i+n，i+2n，......，i+(N
‑
1)n}；其中n=t*f（f为原始视频帧率）。
[0008]进一步的，步骤S2包括,每一个单帧图像子集中包含单帧图像个数为N
’
=T/T1*t=N/T1，得到M个单帧图像子集Q
M
，Q1={i，i+n，i+2n，......，i+(N
’‑
1)n},Q2={i+N
’
n，i+(N
’
+1)n，i+(N
’
+2)n，......，i+(2N
’‑
1)n},......，Q
M
={i+（M
‑
1）N
’
n，i+（M
‑
1）(N
’
+1)n，i+（M
‑
1）(N
’
+2)n，......，i+(N
‑
1)n}；进一步的，步骤S3包括S31：对RGB模式的彩色单帧图像子集Q
M
作Gray=R=G=B=(R+G+B)/3的灰度处理得到一次灰度处理图像，设置阈值K，使像素点按照Gray=Gray
±
K进行像素点灰度范围调整作为二次灰度处理，得到目标灰度单帧图像子集Q
’
M
；S32：利用灰度图像的灰度差异对目标灰度单帧图像子集Q
’
M
中的每一帧图像进行轮廓提取，对相邻两个像素点的灰度值G
ij
进行比较得到灰度差值θ，当θ≥10提取这两个像素点，当θ＜10则不提取，将提取的像素点按照相同灰度拟合形成灰度差异拟合曲线y=f（x）；S33：对目标灰度单帧图像子集Q
’
M
的每一帧图像进行x*y区域分割，得到分割区域U
xy
；S34：计算目标灰度单帧图像子集Q
’
M
包含的所有帧图像在相同分割区域位置内的灰度差异拟合曲线的相似度系数δ，只要同区域内相似度系数δ的值中有一个值小于90%则去掉该分割区域内与曲线相同亮度的灰度图像包络，最终得到去除动态前景目标的目标灰度单帧图像子集Q”M
。
[0009]进一步的，步骤S34包括，计算灰度差异拟合曲线的相似度系数δ，计算公式如下：，分别计算灰度差异拟合曲线y1=f
i
（x）与y2=f
i+n
（x）、y1=f
i
（x）与y2=f
i+2n
（x）......y1=f
i
（x）与y
N
=f
i+(N
‑
1)n
（x）的相似度系数δ1、δ2、......δ
N
，若δ
N
≥90%则原灰度图像不做处理，若δ
N
＜90%则去掉与曲线相同亮度的灰度
图像包络；本专利技术的工作原理及有益效果为：基于视频拍摄帧图像提取叠加的动态路口前景去本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视频拍摄帧图像提取叠加的动态路口前景去除方法，其特征在于，包括S1：将路口拍摄的时长T的原始视频进行间隔为t的帧图像提取，得到单帧图像集合Q；S2：以T1为周期将单帧图像集合Q分成M个单帧图像子集Q
M
；S3：对M个单帧图像子集Q
M
进行前景去除,得到去除动态前景的目标灰度单帧图像子集Q”M
；S4：将M个目标灰度单帧图像子集Q”M
分别按时序叠加形成M个目标灰度视频V
M
，目标灰度视频V
M
经逆运算得到目标彩色视频V
’
M
，M个彩色视频V
’
M
按时序组成最终完整的去除前景彩色视频V；S5：对每天、每月选取物体随日光变化产生阴影变化特征时刻，通过深度学习算法对特征时刻的目标视频V
M
进行比对修正，得到完整无各种车辆、行人和阴影的干净的去前景彩色视频V。2.根据权利要求1所述的基于视频拍摄帧图像提取叠加的动态路口前景去除方法，其特征在于，步骤S1包括时长T的原始视频以时间间隔t提取第i帧图像（i∈1,2,3......n）得到N=T/t个单帧图像，其中n为每一个时间t内包含的单帧图像的数量（n为整数），N个单帧图像的集合为Q={i，i+n，i+2n，......，i+(N
‑
1)n}；其中n=t*f（f为原始视频帧率）。3.根据权利要求1所述的基于视频拍摄帧图像提取叠加的动态路口前景去除方法，其特征在于，步骤S2包括,每一个单帧图像子集中包含单帧图像个数为N
’
=T/T1*t=N/T1，得到M个单帧图像子集Q
M
，Q1={i，i+n，i+2n，......，i+(N
’‑
1)n},Q2={i+N
’
n，i+(N
’
+1)n，i+(N
’
+2)n，......，i+(2N
’‑
1)n},......，Q
M
={i+（M
‑
1）N
’
n，i+（M
‑
1）(N
’
+1)n，i+（M
‑
1）(N
’
+2)n，....

【专利技术属性】
技术研发人员：杜文明，王士元，柴江武，王川，
申请(专利权)人：维特瑞交通科技有限公司，
类型：发明
国别省市：