一种基于核相关滤波和结构相似性的视频抖动检测方法技术

本发明专利技术提供了一种基于核相关滤波和结构相似性的视频抖动检测方法，所述方法包括：在视频中的目标选取后，利用核相关滤波算法跟踪目标区域，并通过结构相似性特征调整尺度大小，随后对比目标原先所处的位置进行抖动检测，并在显示屏上面显示出直观的结果。本发明专利技术通过采用上述技术，基于图像检测和目标跟踪，并不需要在监控摄像头上面额外添加物理构件，有效降低成本，且算法鲁棒性高，能适应大部分复杂的交通场景；对于仅仅靠HOG特征检测的算法，本发明专利技术增设了新的特征来辅助矫正目标的检测，可以提高准确率；计算速度可以达到实时性的标准，能够快速准确地实现抖动检测。

【技术实现步骤摘要】
一种基于核相关滤波和结构相似性的视频抖动检测方法
本专利技术涉及视频监控
，具体是一种基于核相关滤波和结构相似性的视频抖动检测方法。
技术介绍
视频监控系统作为视觉物联网的重要组成部分，随着近年来强劲快速的发展，其日常维护的矛盾日趋激烈。目前大部分视频监控系统面临着高效实时性智能分析与低效滞后的人工故障排查的矛盾。这些数量庞大的视频监控系统的运行和维护工作主要靠人工检测和处理。如何提高视频监控系统运行维护工作的效率，及时了解前端视频设备的运行情况，建设智能化的视频监控质量诊断系统成为视频监控领域迫切需要解决的实际问题。在视频监控中，摄像头一般都是固定在某个位置，因此造成视频画面抖动现象的原因主要有：摄像头受到环境的干扰(比如强风)发生有规律的摆动从而造成图像的上下或左右抖动；或是摄像头正在被人移动，造成画面抖动。任何一种情况，都会导致画面出现周期性振颤或不规则扭曲，都意味着摄像头工作出现了异常，系统都需要发生报警，引起工作人员的警戒。针对视频质量诊断系统中的画面抖动异常检测问题，国内外学术界、工业界提出了许多解决方案。其中较为接近的方法包括：基于前—后向光流点匹配运动熵的视频抖动检测算法(江爱文，刘长红，王明文。基于前—后向光流点匹配运动熵的视频抖动检测算法。计算机应用，2013，33(10):2918－2921)提出利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。该方法的缺陷在于光流法在对于像素大的监控来说，速度过于缓慢。在对实时性要求苛刻的情况下并不适用。由于变化的光线会被错误地识别为光流,因此该方法对光线敏感,从而会影响到识别效果且不适用于长时间跟踪。所以该算法也不适用于复杂环境下的视频抖动检测，对于交通路口、商场口等人流量大的区域并没有什么效果。综上所述，当前解决方案都有一定的局限性，无法在交通路口等视频监控中发挥出有效的作用。
技术实现思路
为克服现有技术上的不足，本专利技术的目的在于提供一种基于相关滤波和结构相似性的视频抖动检测方法。本专利技术利用核相关滤波算法跟踪目标区域，并通过SSIM结构相似性特征调整尺度大小，并在显示屏上给出直观结果。所述的一种基于相关滤波和结构相似性的视频抖动检测方法，其特征包括如下步骤：步骤1：读取视频中的第1帧图像，选取图片固定不动的目标，设置矩形区域R＝(x0,y0,w,h)，从第1帧图像中截取区域R对应的子图像，保存为采样图像X，同时保存作为模板图像T；其中，w和h分别图像X和T的宽度和高度，(x0,y0)表示区域R左上角在第1帧图像中的坐标；定义搜索区域为S＝(xs,ys,ws,hs)，其中，(xs,ys)表示搜索区域S的左上角坐标，ws和hs分别表示搜索区域S的宽度和高度，(xs,ys,ws,hs)根据公式(1)计算：步骤2：利用核相关滤波算法，从模板图像T中提取出每个像素点对应的HOG特征值为PT＝{Zrs|r＝1,2,...,w；s＝1,2,...,h}，其中，Zrs表示坐标(r,s)处的像素点对应的HOG特征值的大小；步骤3：读取视频中的下一帧图像，记为图像Q；步骤4：在图像Q的搜索区域S中，利用核相关滤波算法，输出搜索区域中每个像素点对应的HOG特征值为PQ＝{Zij|i＝1,2,...,ws；j＝1,2,...,hs}，其中，Zij表示坐标(i,j)处的像素点对应的HOG特征值的大小；步骤5：利用滑动窗口的方法，令PT在PQ上滑动，将PT和PQ中的对应元素相减，其步长设置为1，将相减得到的新矩阵的每个元素相加，滑动结束后最终得到矩阵AP＝{Acv|c＝1,2,...,wd；v＝1,2,...,ht}，其中，Acv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加，wd＝ws-w，ht＝hs-h；步骤6：模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算，步长设置为1，计算公式如式(4)所示，得到矩阵IM＝{Icv|c＝1,2,...,wd；v＝1,2,...,ht}，其中，Icv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两幅图像的SSIM指数；其中，Qμ指模板图像T在图像Q的搜索区域S中滑动过程中对应的区域，μ＝1,2,…,E，E＝w×h，μT、μQ分别指图像T和Qμ的灰度均值，分别指图像T和Qμ的灰度方差，指图像T和Qμ的协方差；步骤7：特征融合部分，将AP与IM两个矩阵对应位置的Acv与Icv根据公式(5)加权融合得到矩阵FI＝{Fcv|c＝1,2,...,wd；v＝1,2,...,ht}，其中，Fcv表示HOG特征值和SSIM指数的融合特征；根据式(6)计算得到坐标(c,v)对应于图像Q中的像素点坐标Pcv＝(xc,yv)；其中，Fcv为融合结构特征后的值，ωA和ωi分别为HOG特征和SSIM特征的权值；步骤8：提取出矩阵FI中最小值Fcv及其对应的像素点坐标Pcv；步骤9：将w和h分别放大1.05倍，重新执行步骤4到步骤8，得到矩阵FI中的最小值及其对应的像素点坐标将w和h分别缩小为最初的0.95倍，重新执行步骤4到步骤8，得到矩阵FI中的最小值及其对应的像素点坐标令将对应的像素点坐标记为其中，min表示取最小值；步骤10：在图像Q中选取矩形区域Rl作为检测到的目标位置，其中，矩形区域Rl＝(xlc,ylv,wl,hl)，(xlc,ylv)代表左上角顶点坐标，wl和hl分别表示矩形区域Rl的宽和高；其中，wl和hl根据式(7)和(8)计算，U表示区域扩展倍数；步骤11：将步骤1中的起始模板位置(x0,y0)与根据式(9)进行计算，输出两者差值的模，判断模的值是否超过阈值，如果超过则检测到抖动，否则跳转至步骤3；其中，Yu是模板图像左上顶点坐标位置和目标图像左上顶点坐标位置的模。与现有技术相比，本专利技术的有益效果为：一、本专利技术基于图像检测和目标跟踪，并不需要在监控摄像头上面额外添加物理构件，有效降低成本；二、算法鲁棒性高，能适应大部分复杂的交通场景；三、对于仅仅靠HOG特征检测的算法，本专利技术增设了新的特征来辅助矫正目标的检测，可以提高准确率；四、计算速度可以达到实时性的标准，能够快速准确地实现抖动检测。附图说明图1为选择目标作为模板图像的窗口的灰度图；图2为已选择的模板图像与用以与模板图像比较的目标区域的灰度图；图3为运行程序的效果图的灰度图。具体实施方式下面结合说明书附图和实例，对本专利技术进行进一步的说明。如图1-3所示，本专利技术的一种基于相关滤波和结构相似性的视频抖动检测方法，具体包括如下步骤：步骤1：读取视频中的第1帧图像，其灰度图如图1所示，选取如图2所示的目标，设置矩形区域R＝(x0,y0,w,h)，从第1帧图像中截取区域R对应的子图像，保存为采样图像X，同时保存作为模板本文档来自技高网...

【技术保护点】
1.一种基于核相关滤波和结构相似性的视频抖动检测方法，其特征包括如下步骤：/n步骤1：读取视频中的第1帧图像，选取图片固定不动的目标，设置矩形区域R＝(x

【技术特征摘要】
1.一种基于核相关滤波和结构相似性的视频抖动检测方法，其特征包括如下步骤：
步骤1：读取视频中的第1帧图像，选取图片固定不动的目标，设置矩形区域R＝(x0,y0,w,h)，从第1帧图像中截取区域R对应的子图像，保存为采样图像X，同时保存作为模板图像T；其中，w和h分别图像X和T的宽度和高度，(x0,y0)表示区域R左上角在第1帧图像中的坐标；定义搜索区域为S＝(xs,ys,ws,hs)，其中，(xs,ys)表示搜索区域S的左上角坐标，ws和hs分别表示搜索区域S的宽度和高度，(xs,ys,ws,hs)根据公式(1)计算；



步骤2：利用核相关滤波算法，从模板图像T中提取出每个像素点对应的HOG特征值为PT＝{Zrs|r＝1,2,...,w；s＝1,2,...,h}，其中，Zrs表示坐标(r,s)处的像素点对应的HOG特征值的大小；
步骤3：读取视频中的下一帧图像，记为图像Q；
步骤4：在图像Q的搜索区域S中，利用核相关滤波算法，输出搜索区域中每个像素点对应的HOG特征值为PQ＝{Zij|i＝1,2,...,ws；j＝1,2,...,hs}，其中，Zij表示坐标(i,j)处的像素点对应的HOG特征值的大小；
步骤5：利用滑动窗口的方法，令PT在PQ上滑动，将PT和PQ中的对应元素相减，其步长设置为1，将相减得到的新矩阵的每个元素相加，滑动结束后最终得到矩阵AP＝{Acv|c＝1,2,...,wd；v＝1,2,...,ht}，其中，Acv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加，wd＝ws-w，ht＝hs-h；
步骤6：模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算，步长设置为1，计算公式如式(4)所示，得到矩阵IM＝{Icv|c＝1,2,...,wd；v＝1,2,...,ht}，其中，Icv表...

【专利技术属性】
技术研发人员：高飞，梅凯涛，卢书芳，翁立波，张元鸣，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33