确定小物体区域的方法、视频帧之间插补帧的方法和装置制造方法及图纸

本发明专利技术实施例涉及视频处理技术领域，特别涉及一种确定视频帧中小物体区域的方法和装置，用以较为准确地在视频帧中确定其中包括的小物体区域。本发明专利技术实施例提供的确定视频帧中小物体区域的方法，包括：将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量；确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所述任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视频帧中的小物体候选区域；对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域。本发明专利技术实施例实现了较为准确地在视频帧中确定其中包括的小物体区域。

【技术实现步骤摘要】
确定小物体区域的方法、视频帧之间插补帧的方法和装置
本专利技术涉及视频处理
，特别涉及一种确定视频帧中小物体区域的方法和装置、以及一种在两相邻视频帧之间插补帧的方法和装置。
技术介绍
在视频技术应用中，为了保证流畅地播放高清视频或超高清视频，终端播放视频帧的帧率需要达到至少120Hz（赫兹），而由于传输带宽的限制，视频编码传输的帧率只能达到25Hz或30Hz，因而需要播放高清视频或超高清视频的终端在接收到的视频编码原始帧之间插补新的视频帧以实现帧率转换。目前需要播放高清视频或超高清视频的终端一般先对接收到的原始帧作运动估计（即对原始帧包括的各个块作运动估计），然后根据运动估计得到的相邻两帧之间的双向运动矢量，生成插补在该相邻两帧之间的新视频帧（即插补帧），为了使得插补帧具有良好的连续性，需要对该根据运动估计得到的相邻两帧之间的双向运动矢量作平滑滤波，并根据平滑滤波后的该相邻两帧之间的双向运动矢量，生成插补帧。在原始帧包括小物体区域时，在对该原始帧进行运动估计后得到的运动矢量作平滑滤波时，可能会使得该原始帧中的小物体区域对应的运动矢量由该原始帧的背景运动矢量所替代，而目前还没有一种能够确定视频帧中的小物体区域的方法，而且在该原始帧中的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代时，根据该原始帧对应的运动矢量生成的插补帧中会由于缺失小物体区域的像素，从而影响高清视频或超高清视频的播放质量。其中，原始帧中满足下列特征中的一种特征的区域称之为小物体区域：占据原始帧背景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且占据原始帧背景的比例值小于特定值的物体区域，或亮度值接近原始帧背景的亮度值且占据原始帧背景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且亮度值接近原始帧背景的亮度值且占据原始帧背景的比例值小于特定值的物体区域。综上所述，目前在原始帧包括小物体区域时，还没有一种能够确定视频帧中的小物体区域的方法，而且在对该原始帧进行运动估计后得到的运动矢量作平滑滤波时，可能会使得该原始帧中的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代，造成生成的插补帧中由于小物体像素的缺失，从而影响高清视频或超高清视频的播放质量。
技术实现思路
本专利技术实施例提供一种确定视频帧中小物体区域的方法和装置，以较为准确地在视频帧中确定其中包括的小物体区域。本专利技术实施例还提供一种在两相邻视频帧之间插补帧的方法和装置，以实现避免生成的插补帧中由于小物体像素的缺失，导致高清视频或超高清视频的播放质量不高的问题。第一方面，提供一种确定视频帧中小物体区域的方法，包括：将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。结合第一方面，在第一种可能的实现方式中，所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，确定所述每个第一类待处理图像块的帧间运动矢量，包括：分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。结合第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：选择当前视频帧的至少一帧前连续视频帧。结合第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式，在第四种可能的实现方式中，确定所述第一类待处理图像块的帧间运动矢量，包括：针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。结合第一方面的第一至四种中的任一种可能的实现方式，在第五种可能的实现方式中，确定所述当前视频帧中的小物体候选区域，包括：根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。结合第一方面的第一至五种中的任一种可能的实现方式，在第六种可能的实现方式中，对当前视频帧中的小物体候选区域进行滤波之前，还包括：将小物体候选区域包括的每个图像块标志特定标记；对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域，包括：针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或本文档来自技高网...

【技术保护点】
一种确定视频帧中小物体区域的方法，其特征在于，该方法包括：将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。

【技术特征摘要】
1.一种确定视频帧中小物体区域的方法，其特征在于，该方法包括：将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；所述帧间运动矢量为所述任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间运动矢量；根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域；对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种。2.如权利要求1所述的方法，其特征在于，所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执行：在当前视频帧的前N帧视频帧中选择至少一帧视频帧，其中N为正整数；根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，包括：分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量；将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。3.如权利要求2所述的方法，其特征在于，确定所述每个第一类待处理图像块的帧间运动矢量，包括：分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。4.如权利要求2或3所述的方法，其特征在于，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：选择当前视频帧的至少一帧前连续视频帧。5.如权利要求3所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运动矢量，包括：针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。6.如权利要求1所述的方法，其特征在于，所述根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，包括：根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。7.如权利要求1所述的方法，其特征在于，对当前视频帧中的小物体候选区域进行滤波之前，还包括：将小物体候选区域包括的每个图像块标志特定标记；对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域，包括：针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域；其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。8.一种基于权利要求1～7任一确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，其特征在于，该方法包括：确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区域；对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对应的帧间运动矢量进行平滑滤波；根据所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。9.一种基于权利要求1～7任一确定视频帧中小物体区域的方法的在两相邻视频帧之间插补帧的方法，其特征在于，该方法包括：根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块；分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量；根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。10.如权利要求9所述的方法，其特征在于，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括：针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。11.如权利要求10所述的方法，其特征在于，分别确定每个第一类待处理图像块的帧间运动矢量，包括：分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。12.如权利要求10或11所述的方法，其特征在于，在所述前N帧视频帧中选择至少一帧视频帧，包括：选择所述前、后两相邻视频帧的至少一帧前连续视频帧。13.如权利要求11所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运动矢量，包括...

【专利技术属性】
技术研发人员：张雷，姚志刚，谢清鹏，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44