一种插帧质量评估方法和装置制造方法及图纸

本公开涉及一种插帧质量评估方法和装置。该方法包括：基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。本公开可以对内插帧图像中任一内插像素点的像素质量进行有效评估。

A quality evaluation method and device for inserting frames

【技术实现步骤摘要】
一种插帧质量评估方法和装置
本公开涉及视频处理
，尤其涉及一种插帧质量评估方法和装置。
技术介绍
视频帧率提升是一种将低帧率视频转换为高帧率视频的视频后处理方法，利用相邻帧原始图像之间的时域相关性确定内插帧图像，然后将内插帧图像插入相邻帧原始图像之间以达到增加帧率的目的。例如，将视频帧率从30fps(FramesperSecond，帧每秒)提升至60fps。视频帧率越高，视频画面中动作越流畅，用户观看体验越好。目前常用的视频帧率提升方法为基于光流的光流插帧法，通过计算视频中相邻帧原始图像之间的光流，进而生成相邻帧原始图像之间的内插帧图像。实际应用中，由于无法确保相邻帧原始图像之间的光流是否准确，导致光流插帧之后的高帧率视频中可能会出现物体边缘破碎等影响用户观看体验的现象。因此，亟需一种插帧质量评估方法。
技术实现思路
有鉴于此，本公开提出了一种插帧质量评估方法和装置，用于实现对基于光流插帧法得到的内插帧图像进行插帧质量评估。根据本公开的第一方面，提供了一种插帧质量评估方法，包括：基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。在一种可能的实现方式中，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重，包括：在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；根据所述第一像素点的光流，确定所述内插像素点对应的映射像素点；确定所述第一像素点的光流质量；根据所述第一像素点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的权重成正比。在一种可能的实现方式中，确定所述第一像素点的光流质量，包括：根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量。在一种可能的实现方式中，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量，包括：根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；确定所述第一像素点与所述第二像素点之间的像素值一致性误差；根据所述像素值一致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光流质量成反比。在一种可能的实现方式中，确定所述第一像素点的光流质量，包括：根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量。在一种可能的实现方式中，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量，包括：根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；确定所述第一像素点与所述第二像素点之间的光流一致性误差；根据所述光流一致性误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成反比。在一种可能的实现方式中，所述内插像素点在所述相邻两帧原始图像中的映射像素点为多个；根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标，包括：当至少一个映射像素点对应的权重大于第一阈值时，确定所述内插像素点的像素质量达标。在一种可能的实现方式中，还包括：当所述内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。根据本公开的第二方面，提供了一种插帧质量评估装置，包括：第一确定模块，用于基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；第二确定模块，用于针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；判断模块，用于根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。在一种可能的实现方式中，所述第二确定模块包括：第一确定子模块，用于在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；第二确定子模块，用于根据所述第一像素点的光流，确定所述内插像素点对应的映射像素点；第三确定子模块，用于确定所述第一像素点的光流质量；第四确定子模块，用于根据所述第一像素点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的权重成正比。在一种可能的实现方式中，所述第三确定子模块具体用于：根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量。在一种可能的实现方式中，所述第三确定子模块包括：第一确定单元，用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；第二确定单元，用于确定所述第一像素点与所述第二像素点之间的像素值一致性误差；第三确定单元，用于根据所述像素值一致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光流质量成反比。在一种可能的实现方式中，所述第三确定子模块具体用于：根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量。在一种可能的实现方式中，所述第三确定子模块包括：第四确定单元，用于根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；第五确定单元，用于确定所述第一像素点与所述第二像素点之间的光流一致性误差；第六确定单元，用于根据所述光流一致性误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成反比。在一种可能的实现方式中，所述内插像素点在所述相邻两帧原始图像中的映射像素点为多个；所述判断模块具体用于：当至少一个映射像素点对应的权重大于第一阈值时，确定所述内插像素点的像素质量达标。在一种可能的实现方式中，所述判断模块还用于：当所述内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。根据本公开的第三方面，提供了一种插帧质量评估装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面所述的插帧质量评估方法。根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面所述的插帧质量评估方法。基于光流插帧法确定相邻两帧原始图像之间的内插帧图像之后，针对内插帧图像中的内插像素点，确定内插像素点在相邻两帧原始图像中的映射像素点对应的权重，进而根据映射像素点对应的权重，判断内插像素点的像素质量是否达标，从而可以对内插帧图像中任一内插像素点的像素质量进行本文档来自技高网...

【技术保护点】
1.一种插帧质量评估方法，其特征在于，包括：/n基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；/n针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；/n根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。/n

【技术特征摘要】
1.一种插帧质量评估方法，其特征在于，包括：
基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；
针对所述内插帧图像中的内插像素点，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重；
根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标。


2.根据权利要求1所述的方法，其特征在于，确定所述内插像素点在所述相邻两帧原始图像中的映射像素点对应的权重，包括：
在所述相邻两帧原始图像中的任一帧原始图像中，确定与所述内插像素点的坐标位置相同的第一像素点；
根据所述第一像素点的光流，确定所述内插像素点对应的映射像素点；
确定所述第一像素点的光流质量；
根据所述第一像素点的光流质量，确定所述映射像素点对应的权重，其中，所述第一像素点的光流质量与所述映射像素点对应的权重成正比。


3.根据权利要求2所述的方法，其特征在于，确定所述第一像素点的光流质量，包括：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量。


4.根据权利要求3所述的方法，其特征在于，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的像素值一致性，确定所述第一像素点的光流质量，包括：
根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
确定所述第一像素点与所述第二像素点之间的像素值一致性误差；
根据所述像素值一致性误差，确定所述第一像素点的光流质量，其中，所述像素值一致性误差与所述第一像素点的光流质量成反比。


5.根据权利要求2所述的方法，其特征在于，确定所述第一像素点的光流质量，包括：
根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量。


6.根据权利要求5所述的方法，其特征在于，根据所述第一像素点与所述第一像素点在相邻帧原始图像中对应的第二像素点之间的光流一致性，确定所述第一像素点的光流质量，包括：
根据所述第一像素点的光流，确定所述第一像素点在相邻帧原始图像中对应的所述第二像素点；
确定所述第一像素点与所述第二像素点之间的光流一致性误差；
根据所述光流一致性误差，确定所述第一像素点的光流质量，其中，所述光流一致性误差与所述第一像素点的光流质量成反比。


7.根据权利要求1所述的方法，其特征在于，所述内插像素点在所述相邻两帧原始图像中的映射像素点为多个；
根据所述映射像素点对应的权重，判断所述内插像素点的像素质量是否达标，包括：
当至少一个映射像素点对应的权重大于第一阈值时，确定所述内插像素点的像素质量达标。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述内插帧图像中像素质量达标的内插像素点的数目大于第二阈值时，确定所述内插帧图像的插帧质量达标。


9.一种插帧质量评估装置，其特征在于，包括：
第一确定模块，用于基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；
第二确定模块，用于针对所述...

【专利技术属性】
技术研发人员：肖宇，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY