基于预测前景蒙版预测的视频抠图方法、系统和存储介质技术方案

本发明专利技术公开了一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。视频抠图方法包括获取视频帧，使用MODNet模型对视频帧进行处理，获得预测前景蒙版，根据视频帧和预测前景蒙版，获取前景图，使用PointRend模块对所述前景图进行前景分割，获得实例分割图，对实例分割图进行掩模处理，获得前景蒙版图等步骤。本发明专利技术通过使用MODNet模型和PointRend模块对视频帧进行处理，可以获得前景蒙版图，从而继续应用于视频抠图等过程，并不要求拍摄视频帧的过程中使用蓝/绿幕，而且也无需在对视频帧的处理过程中进行人工识别标记等处理，能够提高视频处理的自动化程度，降低处理成本。本发明专利技术广泛应用于多媒体技术领域。

【技术实现步骤摘要】
基于预测前景蒙版预测的视频抠图方法、系统和存储介质
本专利技术涉及多媒体
，尤其是一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。
技术介绍
在视频特效制作、图像处理等领域，经常需要将图像中的人物等目标提取出来。为了进行目标的精准提取，通常有前期拍摄和后期处理两种手段。其中，前期拍摄手段是在拍摄时使用蓝/绿幕作为背景，这样在后期容易将目标和背景分离开来，实现目标的提取。后期处理手段可以不要求使用蓝/绿幕拍摄，而是使用光照处理法等算法进行目标提取，这个过程中根据要处理的图像生成前景、背景以及位于前景和背景之间的不确定区域(Trimap)，现有技术中需要人工标注出前景、背景和不确定区域，自动化程度较低，需要较高的人力成本。
技术实现思路
针对上述至少一个技术问题，本专利技术的目的在于提供一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。一方面，本专利技术实施例包括一种基于预测前景蒙版预测的视频抠图方法，包括：获取视频帧；使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；根据所述视频帧和所述预测前景蒙版，获取前景图；使用PointRend模块对所述前景图进行前景分割，获得实例分割图；对所述实例分割图进行掩模处理，获得前景蒙版图。进一步地，所述使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版，包括：通过所述MODNet模型中的语义估计单元，从所述视频帧提取高级语义，输出前景掩模；通过所述MODNet模型中的细节预测单元，对所述视频帧进行的边界区域进行细节预测；通过所述MODNet模型中的融合单元，融合所述前景掩模和所述细节预测的结果，从而获得所述预测前景蒙版。进一步地，所述根据所述视频帧和所述预测前景蒙版，获取前景图，包括：将所述视频帧中的像素点值与映射到所述预测前景蒙版中的像素点值相乘；以像素点值相乘的结果确定的像素点组成所述前景图。进一步地，所述使用PointRend模块对所述前景图进行前景分割，获得实例分割图，包括：使用PointRend模块执行多次迭代过程；在每次所述迭代过程中，所述PointRend模块在所述前景图上选择多个最不确定点，对各所述最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样；所述迭代过程的终止条件为前景分割的结果的上采样分辨率达到设定的水平。进一步地，基于预测前景蒙版预测的视频抠图方法还包括：对所述前景蒙版图进行平滑化处理。进一步地，所述对所述前景蒙版图进行平滑化处理，包括：当所述前景蒙版图存在多个区域块，相邻的所述区域块具有不同的分辨率，对除了面积最大的所述区域块之外的其他所述区域块进行零值处理。进一步地，所述对所述前景蒙版图进行平滑化处理，包括：当所述前景蒙版图与其前帧之差的绝对值、所述前景蒙版图与其后帧之差的绝对值、所述前帧与所述后帧之差的绝对值均大于设定阈值，将所述前景蒙版图中的像素点值调制为所述前帧相同位置的像素点值与所述后帧相同位置的像素点值的加权平均值。进一步地，基于预测前景蒙版预测的视频抠图方法还包括：将所述前景蒙版图按获得时序排序后，合成无背景视频。另一方面，本专利技术实施例还包括一种基于预测前景蒙版预测的视频抠图系统，包括：第一模块，用于获取视频帧；第二模块，用于使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；第三模块，用于根据所述视频帧和所述预测前景蒙版，获取前景图；第四模块，用于使用PointRend模块对所述前景图进行前景分割，获得实例分割图；第五模块，用于对所述实例分割图进行掩模处理，获得前景蒙版图。另一方面，本专利技术实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行基于预测前景蒙版预测的视频抠图方法。本专利技术的有益效果是：实施例中的基于预测前景蒙版预测的视频抠图方法，通过使用MODNet模型和PointRend模块对视频帧进行处理，可以获得前景蒙版图，并进行平滑化处理，从而继续应用于视频抠图等过程，并不要求拍摄视频帧的过程中使用蓝/绿幕，而且也无需在对视频帧的处理过程中进行人工识别标记等处理，能够提高视频处理的自动化程度，降低处理成本。附图说明图1为实施例中基于预测前景蒙版预测的视频抠图方法的流程图；图2为实施例所使用的MODNet模型的原理图。具体实施方式本实施例中，参照图1，基于预测前景蒙版预测的视频抠图方法包括以下步骤：S1.获取视频帧；S2.使用MODNet模型对视频帧进行处理，获得预测前景蒙版；S3.根据视频帧和预测前景蒙版，获取前景图；S4.使用PointRend模块对前景图进行前景分割，获得实例分割图；S5.对实例分割图进行掩模处理，获得前景蒙版图。步骤S1中，通过对输入视频进行图片切割，获取多个视频帧。步骤S2的原理如图2所示。本实施例中所使用的MODNet模型包括语义估计单元、细节预测单元、融合单元三部分。其中，语义估计单元采用MobileNetV2架构，采用监督学习，通过编码器去从视频帧提取高级语义，输出一个粗糙的前景掩模。细节预测单元具有12层卷积层，对前景与背景之间的边界区域，对人像边界进行细节预测。融合单元融合语义估计单元的输出结果和细节预测单元的输出结果这两个子目标的特征，输出与视频帧对应的预测前景蒙版。步骤S3中，将视频帧中的像素点值与预测前景蒙版中的对应像素点值相乘，例如将视频帧中坐标为(x1,y1)的像素点值与预测前景蒙版中坐标为(x1,y1)的像素点值相乘，所得到的值设为前景图中坐标为(x1,y1)的像素点值。对所有的像素点值都进行上述处理，从而获得无背景的前景图。通过上述处理所获得的前景图，能够为后续分割过程提供更精细的分割结果。步骤S4中，所使用的PointRend模块是基于像素点进行渲染的神经网络模块。PointRend模块基于迭代细分算法，在自适应选择的位置用于边界细节更准确的分割预测。其中在每次迭代中，PointRend选择N个最不确定的点，然后为这N个点计算点级特征，并预测相应的标签，重复该过程，直到分割结果上采样的所需分辨率为止。因此，执行步骤S4时，使用PointRend模块执行多次迭代过程。在每次迭代过程中，PointRend模块在前景图上选择N个最不确定点，对各最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样，每次迭代过程的最后，对上采样结果的分辨率进行分析，如果上采样结果的分辨率大于等于设定的分辨率水平，那么就在结束本次迭代过程之后不再执行后续的迭代过程，如果上采样结果的分辨率小于设定的分辨率水平，那么就在结束本次迭代过程之后执行后续的迭代过本文档来自技高网...

【技术保护点】
1.一种基于预测前景蒙版预测的视频抠图方法，其特征在于，包括：/n获取视频帧；/n使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；/n根据所述视频帧和所述预测前景蒙版，获取前景图；/n使用PointRend模块对所述前景图进行前景分割，获得实例分割图；/n对所述实例分割图进行掩模处理，获得前景蒙版图。/n

【技术特征摘要】
1.一种基于预测前景蒙版预测的视频抠图方法，其特征在于，包括：
获取视频帧；
使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；
根据所述视频帧和所述预测前景蒙版，获取前景图；
使用PointRend模块对所述前景图进行前景分割，获得实例分割图；
对所述实例分割图进行掩模处理，获得前景蒙版图。


2.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版，包括：
通过所述MODNet模型中的语义估计单元，从所述视频帧提取高级语义，输出前景掩模；
通过所述MODNet模型中的细节预测单元，对所述视频帧进行的边界区域进行细节预测；
通过所述MODNet模型中的融合单元，融合所述前景掩模和所述细节预测的结果，从而获得所述预测前景蒙版。


3.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述根据所述视频帧和所述预测前景蒙版，获取前景图，包括：
将所述视频帧中的像素点值与映射到所述预测前景蒙版中的像素点值相乘；
以像素点值相乘的结果确定的像素点组成所述前景图。


4.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述使用PointRend模块对所述前景图进行前景分割，获得实例分割图，包括：
使用PointRend模块执行多次迭代过程；
在每次所述迭代过程中，所述PointRend模块在所述前景图上选择多个最不确定点，对各所述最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样；
所述迭代过程的终止条件为前景分割的结果的上采样分辨率...

【专利技术属性】
技术研发人员：王伦基，叶俊杰，李权，朱杰，成秋喜，韩蓝青，
申请(专利权)人：清华珠三角研究院，赛业广州生物科技有限公司，
类型：发明
国别省市：广东;44