基于快速张量鲁棒模型的视频前景提取方法技术

本发明专利技术公开了一种基于快速张量鲁棒模型的视频前景提取方法。本发明专利技术对给定的视频进行如下操作：1）将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。2）通过傅里叶变换‑随机优化迭代‑傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。3）依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。本发明专利技术从张量分解、鲁棒性、实时性多角度对视频进行处理，能够逐帧快速提取视频前景，同时重构视频背景，提高了视频内容分析的可靠度和速度。

Video foreground extraction method based on fast tensor robust model

The invention discloses a video foreground extraction method based on fast tensor robust model. The video is performed on the given as follows: 1) the video as a 3D video tensor, tensor decomposition as low rank tensor and sparse tensor, low rank tensor tensor and tensor reconstruction by the dictionary, so as to establish a robust tensor model. 2) by Fourier transform Fourier inverse transform stochastic optimization iteration steps, fast solution tensor robust model, obtain the video frame corresponding to the dictionary, sparse coefficient tensor, tensor tensor. 3) according to the above steps, the video frames are processed one by one. The background of the video frame is represented by the product of the dictionary tensor and the tensor tensor. The foreground of the video frame is represented by sparse tensor until the end of the video. The invention processes the video from the angles of tensor decomposition, robustness and real-time, and can rapidly extract video foreground from frame to frame, and reconstruct the video background at the same time, thereby improving the reliability and speed of the video content analysis.

【技术实现步骤摘要】
基于快速张量鲁棒模型的视频前景提取方法
本专利技术属于视频分析
，特别涉及基于快速张量鲁棒模型的视频前景提取方法，适用于智能监控视频处理。
技术介绍
随着智慧城市的建设需求日益增长，智能监控视频的处理显得尤为重要，视频前景提取作为监控视频内容分析的关键技术引起了学术界和工业界的重点关注。由于监控场景的背景光线强度在不同时间段变化、前景运动对象受到外界干扰、视频内容冗长等因素，使得监控视频具有数据规模大且各类噪声干扰多等特点，给视频前景的提取工作带来很大挑战。视频的前景提取一般指从视频背景中对前景如运动目标进行捕捉和分离，涉及计算机视觉领域的目标跟踪和图像分割，同时涉及机器学习和模式识别领域。常见的方法有帧间差分法、背景去除法、期望最大化法、显著性检测、超像素法、光流法和基于统计模型的方法，其中帧间差分法直接根据相邻视频帧在背景变化和前景较为复杂时的适应性较差；而背景去除法是较为广泛应用的技术，即通过背景建模。这些方法大多存在一些缺点，如对于冗长监控视频处理的速度无法满足实时性要求、存储视频的内存需求越来越大、抗噪声干扰能力不佳、视频帧的空间结构信息未充分利用等。因此，迫切需要设计一种快速的鲁棒模型，使其能够实时提取视频的前景，还能节省计算开销。
技术实现思路
为了快速提取给定视频的前景，从张量分解、鲁棒性、实时性多个角度对视频帧进行有效处理，本专利技术提出了基于快速张量鲁棒模型的视频前景提取方法，该方法包括以下步骤：1、获取给定的一段视频后，进行如下操作：1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。进一步，所述的步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：1.1)将视频看做三维张量(Tensor)第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片(LateralSlice)，张量的数值为各像素对应的灰度值。1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值。1.3)依据上述定义，建立如下视频张量鲁棒模型：其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。进一步，所述的步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤如下：2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n3列，即第k个块为2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即其中，‖·‖F表示Frobenius范数，‖·‖2表示L2范数，λ2＞0为常数。2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量εi、低秩张量所述的步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量εi表示。3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。本专利技术的有益效果：本专利技术能够对相对固定背景的视频从张量分解、鲁棒性和实时性等多个角度对视频帧的背景和前景进行分离，可以逐帧实时地提取视频前景，提高了监控视频智能分析的可靠性和速度，为建设智慧城市的安防监控智能系统提供技术支持。附图说明图1是本专利技术的方法流程图。具体实施方式以下结合附图对本专利技术作进一步说明。本专利技术提出基于快速张量鲁棒模型的视频前景提取方法，重点利用视频的在不同维度的空间关联信息，同时考虑视频处理的鲁棒性和实时性。主要思想是将视频看做三维张量，建立快速张量鲁棒模型，利用傅里叶变换-随机迭代优化-傅里叶逆变换步骤逐帧处理，得到用于视频背景建模的低秩张量，以及提取视频前景的稀疏张量。通过这种方式，可以实时地提取视频前景，参照附图1，进一步说明：1、获取给定的一段视频后，进行以下操作：1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：1.1)将视频看做三维张量(Tensor)第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片(LateralSlice)，张量的数值为各像素对应的灰度值。1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值。1.3)依据上述定义，建立如下视频张量鲁棒模型：其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤描述如下：2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n3列，即第k个块为2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即其中，‖·‖F表示Frobenius范数，‖·‖2表示L2范数，λ2＞0为常数。2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全本文档来自技高网...

【技术保护点】
基于快速张量鲁棒模型的视频前景提取方法，其特征在于对给定的一段视频，进行如下操作：1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型；2)通过傅里叶变换‑随机优化迭代‑傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量；3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。

【技术特征摘要】
1.基于快速张量鲁棒模型的视频前景提取方法，其特征在于对给定的一段视频，进行如下操作：1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型；2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量；3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。2.如权利要求1所述的基于快速张量鲁棒模型的视频前景提取方法，其特征在于：所述的步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：1.1)将视频看做三维张量第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片，张量的数值为各像素对应的灰度值；1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值；1.3)依据上述定义，建立如下视频张量鲁棒模型：其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。3.如权利要求2所述的基于快速张量鲁棒模型的视频前景提取方法，其特征在于：所述的步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：2.1)视频的第i帧为i＝1,...

【专利技术属性】
技术研发人员：李平，王然，徐向华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33