一种视频显著图提取方法技术

本发明专利技术公开了一种视频显著图提取方法，其首先根据解码得到的解码视频中的每帧解码帧中的每个子块的运动矢量和每个子块中的每个像素点的DCT系数，分别获得解码视频中的每帧解码帧的运动显著图和纹理显著图；然后根据解码视频中的每帧解码帧的纹理显著图，获取每帧解码帧的纹理不确定性图，并根据解码视频中的每帧解码帧的运动显著图，获取每帧解码帧的运动不确定性图；再根据解码视频中的每帧解码帧的纹理不确定性图和运动不确定性图，对解码视频中的每帧解码帧的纹理显著图和运动显著图进行融合，得到解码视频中的每帧解码帧的视频显著图；优点是所获得的视频显著图能够较好地反映视频的静态和动态区域的显著变化情况，符合压缩域显著语义的特征。

【技术实现步骤摘要】
一种视频显著图提取方法
本专利技术涉及一种视频信号的处理方法，尤其是涉及一种视频显著图提取方法。
技术介绍
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。与图像显著图提取方法相比，视频显著图需要提取反映视频运动的语义信息。目前，通常采用视频分割、光流法、运动估计等方法来提取视频显著区域，然而这些方法并不能很好地应用于压缩域的视频，这是因为：一方面，只通过运动矢量或帧差法得到的运动信息只反映运动趋势，并不能很好地反映运动显著语义特征；另一方面，因受压缩域的计算能力局限，而不能进行复杂的特征提取操作。因此，如何从压缩后的码流中提取能够反映运动显著语义特征的重要信息，是视频显著图提取中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种符合压缩域显著语义特征，且提取精度高的视频显著图提取方法。本专利技术解决上述技术问题所采用的技术方案为：一种视频显著图提取方法，其特征在于包括以下步骤：①假定待处理的原始二维视频中包含的视频帧的总帧数为T，且假定待处理的原始二维视频中的视频帧的宽和高对应为W和H；采用H.264视频编码标准对原始二维视频进行编码，得到原始二维视频的编码码流；然后服务端通过网络将原始二维视频的编码码流传输给用户端；②用户端对服务端发送来的原始二维视频的编码码流进行解码，得到原始二维视频对应的解码视频以及解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块的运动矢量、解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块中的每个像素点的DCT系数，将原始二维视频对应的解码视频中的第t帧解码帧记为将中的第h个子块的运动矢量记为MVh,t，将中的第h个子块中坐标位置为(x1,y1)的像素点的DCT系数记为DCTh,t(x1,y1)，其中，1≤t≤T，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，③根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块中的所有像素点的DCT系数，获取原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性；然后根据原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度；再根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，进而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，将的纹理显著图记为{St,texture(x,y)}，其中，St,texture(x,y)表示{St,texture(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量，获取原始二维视频对应的解码视频中的每帧解码帧的运动矢量图；然后通过计算原始二维视频对应的解码视频中的每帧解码帧的全局运动参数向量，获取原始二维视频对应的解码视频中的每帧解码帧的全局运动矢量图；再根据原始二维视频对应的解码视频中的每帧解码帧的运动矢量图和全局运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图；最后根据原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的运动显著图，将的运动显著图记为{St,motion(x,y)}，其中，St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤根据原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，获取原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图；并根据原始二维视频对应的解码视频中的每帧解码帧的运动显著图，获取原始二维视频对应的解码视频中的每帧解码帧的运动不确定性图；然后根据原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图和运动不确定性图，对原始二维视频对应的解码视频中的每帧解码帧的纹理显著图和运动显著图进行融合，得到原始二维视频对应的解码视频中的每帧解码帧的视频显著图，将的视频显著图记为{St,video(x,y)}，将{St,video(x,y)}中坐标位置为(x,y)的像素点的像素值记为St,video(x,y)，其中，Ut(x,y)表示的纹理不确定性图{Ut(x,y)}中坐标位置为(x,y)的像素点的像素值，Vt(x,y)表示的运动不确定性图{Vt(x,y)}中坐标位置为(x,y)的像素点的像素值。所述的步骤③的具体过程为：③-1、计算原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，对于将中的第p个子块与第q个子块之间的纹理相似性记为其中，p≠q，ACi(Bp)表示中的第p个子块中的所有像素点的DCT系数经Z字形扫描后得到的第i个交流分量，ACi(Bq)为中的第q个子块中的所有像素点的DCT系数经Z字形扫描后得到的第i个交流分量，1≤N≤N'，N'表示中的每个子块中的所有像素点的DCT系数经Z字形扫描后得到的交流分量的总个数；③-2、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度，对于将中的第h个子块的纹理对比度记为Fh,t，其中，h≠q，T(Bh,Bq)表示中的第h个子块与第q个子块之间的纹理相似性，exp()表示以自然基数e为底的指数函数，d(Bh,Bq)表示中的第h个子块与第q个子块之间的空间距离，表示中的第h个子块中的中心像素点的坐标位置，表示中的第q个子块中的中心像素点的坐标位置，符号“||||”为求欧式距离符号，σw表示高斯函数的标准差；③-3、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理复杂度，对于将中的第h个子块的纹理复杂度记为Ch,t，其中，h≠p≠q，d(Bp,Bq)表示中的第p个子块与第q个子块之间的空间距离，d(Bh,Bp)表示中的第h个子块与第p个子块之间的空间距离，表示中的第p个子块中的中心像素点的坐标位置，σe表示高斯函数的标准差；③-4、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，对于将中的第h个子块的纹理显著值记为STh,t，STh,t＝Fh,t×Ch,t；③-5、将原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值作为对应子块中的每个像素点的显著值，从而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图；对于将中的每个子块的纹理显著值作为对应子块中的每个像素点的显著值，得到的纹理显著图，记为{St,texture(x,y)}，其中，St,texture(x,y)表示{St,texture(x,y)}中坐标位置为(x,y)的像素点的像素值。所述的步骤④的具体过程为：④-1、将原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量作为对应子块中的每个像素点的运动矢量，从而得到原本文档来自技高网...

【技术保护点】
一种视频显著图提取方法，其特征在于包括以下步骤：①假定待处理的原始二维视频中包含的视频帧的总帧数为T，且假定待处理的原始二维视频中的视频帧的宽和高对应为W和H；采用H.264视频编码标准对原始二维视频进行编码，得到原始二维视频的编码码流；然后服务端通过网络将原始二维视频的编码码流传输给用户端；②用户端对服务端发送来的原始二维视频的编码码流进行解码，得到原始二维视频对应的解码视频以及解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块的运动矢量、解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块中的每个像素点的DCT系数，将原始二维视频对应的解码视频中的第t帧解码帧记为将中的第h个子块的运动矢量记为MVh,t，将中的第h个子块中坐标位置为(x1,y1)的像素点的DCT系数记为DCTh,t(x1,y1)，其中，1≤t≤T，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，1≤x1≤8,1≤y1≤8；③根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块中的所有像素点的DCT系数，获取原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性；然后根据原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度；再根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，进而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，将的纹理显著图记为{St,texture(x,y)}，其中，St,texture(x,y)表示{St,texture(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量，获取原始二维视频对应的解码视频中的每帧解码帧的运动矢量图；然后通过计算原始二维视频对应的解码视频中的每帧解码帧的全局运动参数向量，获取原始二维视频对应的解码视频中的每帧解码帧的全局运动矢量图；再根据原始二维视频对应的解码视频中的每帧解码帧的运动矢量图和全局运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图；最后根据原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的运动显著图，将的运动显著图记为{St,motion(x,y)}，其中，St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤根据原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，获取原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图；并根据原始二维视频对应的解码视频中的每帧解码帧的运动显著图，获取原始二维视频对应的解码视频中的每帧解码帧的运动不确定性图；然后根据原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图和运动不确定性图，对原始二维视频对应的解码视频中的每帧解码帧的纹理显著图和运动显著图进行融合，得到原始二维视频对应的解码视频中的每帧解码帧的视频显著图，将的视频显著图记为{St,video(x,y)}，将{St,video(x,y)}中坐标位置为(x,y)的像素点的像素值记为St,video(x,y)，St,video(x,y)=St,texture(x,y)×Ut(x,y)+St,motion(x,y)×Vt(x,y)Ut(x,y)+Vt(x,y),]]>其中，Ut(x,y)表示的纹理不确定性图{Ut(x,y)}中坐标位置为(x,y)的像素点的像素值，Vt(x,y)表示的运动不确定性图{Vt(x,y)}中坐标位置为(x,y)的像素点的像素值。...

【技术特征摘要】
1.一种视频显著图提取方法，其特征在于包括以下步骤：①假定待处理的原始二维视频中包含的视频帧的总帧数为T，且假定待处理的原始二维视频中的视频帧的宽和高对应为W和H；采用H.264视频编码标准对原始二维视频进行编码，得到原始二维视频的编码码流；然后服务端通过网络将原始二维视频的编码码流传输给用户端；②用户端对服务端发送来的原始二维视频的编码码流进行解码，得到原始二维视频对应的解码视频以及解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块的运动矢量、解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块中的每个像素点的DCT系数，将原始二维视频对应的解码视频中的第t帧解码帧记为将中的第h个子块的运动矢量记为MVh,t，将中的第h个子块中坐标位置为(x1,y1)的像素点的DCT系数记为DCTh,t(x1,y1)，其中，1≤t≤T，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，1≤x1≤8,1≤y1≤8；③根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块中的所有像素点的DCT系数，获取原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性；然后根据原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度；再根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，进而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，将的纹理显著图记为{St,texture(x,y)}，其中，St,texture(x,y)表示{St,texture(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的步骤③的具体过程为：③-1、计算原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，对于将中的第p个子块与第q个子块之间的纹理相似性记为T(Bp,Bq)，其中，p≠q，ACi(Bp)表示中的第p个子块中的所有像素点的DCT系数经Z字形扫描后得到的第i个交流分量，ACi(Bq)为中的第q个子块中的所有像素点的DCT系数经Z字形扫描后得到的第i个交流分量，1≤N≤N'，N'表示中的每个子块中的所有像素点的DCT系数经Z字形扫描后得到的交流分量的总个数；③-2、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度，对于将中的第h个子块的纹理对比度记为Fh,t，其中，h≠q，T(Bh,Bq)表示中的第h个子块与第q个子块之间的纹理相似性，exp()表示以自然基数e为底的指数函数，d(Bh,Bq)表示中的第h个子块与第q个子块之间的空间距离，表示中的第h个子块中的中心像素点的坐标位置，表示中的第q个子块中的中心像素点的坐标位置，符号“||||”为求欧式距离符号，σw表示高斯函数的标准差，σw＝0.4；③-3、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理复杂度，对于将中的第h个子块的纹理复杂度记为Ch,t，其中，h≠p≠q，d(Bp,Bq)表示中的第p个子块与第q个子块之间的空间距离，d(Bh,Bp)表示中的第h个子块与第p个子块之间的空间距离，表示中的第p个子块中的中心像素点的坐标位置，σe表示高斯函数的标准差，σe＝0.1；③-4、计算原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，对于将中的第h个子块的纹理显著值记为STh,t，STh,t＝Fh,t×Ch,t；③-5、将原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值作为对应子块中的每个像素点的显著值，从而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图；对于将中的每个子块的纹理显著值作为对应子块中的每个像素点的显著值，得到的纹理显著图，记为{St,texture(x,y)}，其中，St,texture(x,y)表示{St,texture(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量，获取原始二维视频对应的解码视频中的每帧解码帧的运动矢量图；然后通过计算原始二维视频对应的解码视频中的每帧解码帧的全局运动参数向量，获取原始二维视频对应的解码视频中的每帧解码帧的全局运动矢量图；再根据原始二维视频对应的解码视频中的每帧解码帧的运动矢量图和全局运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图；最后根据原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的运动显著图，将的运动显著图记为{St,motion(x,y)}，其中，St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的步骤④的具体过程为：④-1、将原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量作为对应子块中的每个像素点的运动矢量，从而得到原始二维视频对应的解码视频中的每帧解码帧的运动矢量图；对于将中的每个子块的运动矢量作为对应子块中的每个像素点的运动矢量，得到的运动矢量图，记为{MVt(x,y)}，其中，MVt(x,y)表示{MVt(x,y)}中坐标位置为(x,y)的像素点的运动矢量；④-2、计算原始二维视频对应的解码视频中的每帧解码帧的全局运动参数向量，对于将的全局运动参数向量记为mt'，其中，mt表示可选的全局运动参数向量，mt＝[m0,m1,m2,m3,m4,m5,m6,m7]，m0,m1,m2,m3,m4,m5,m6,m7对应表示mt中的第1个、第2个、第3个、第4个、第5个、第6个、第7个、第8个全局运动参数，mt∈Ω，...

【专利技术属性】
技术研发人员：邵枫，潘云峰，郁梅，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33