图像处理方法、装置、电子设备及可读存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法、装置、电子设备及可读存储介质，所述图像处理方法包括：获取与视频流中的图像帧相对应的掩模；根据所述图像帧，生成与所述图像帧相对应的光流图矩阵；根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸。目标掩摸。目标掩摸。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及可读存储介质


[0001]本公开涉及图像处理
，具体涉及一种图像处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]视频分割技术用于在视频图像中分割出目标对象，在视频会议系统、直播、影视剧制作领域具有广泛应用。
[0003]目前的视频分割方法通常都是用单张视频图像对卷积神经网络模型进行训练，这样训练好的模型在做推理时，由于缺少帧间信息，生成的视频的分割结果图在时序上往往是不连续的，视觉抖动较明显，尤其是目标对象边缘部分，当进行前后背景替换的时候，特别影响观感。如果采用视频序列进行模型训练，由于需要标注大量的视频序列，训练数据冗余量高，费时费资金，并且训练得到的模型生成的结果拖尾效应很严重，尤其在物体剧烈运动的时候拖尾效应更加明显。另外，很多时候训练的模型防抖性能不够好，在主观视觉上仍然存在抖动。如果采用单张视频图像进行模型训练，然后通过光流辅助的后处理方式进行帧间边缘抖动的消除，这种方式一般需要高精度的光流模型，由于高精度光流模型生成光流的速度较慢，难以满足实时应用类的时效性需求。

技术实现思路

[0004]为了解决相关技术中的问题，本公开实施例提供一种图像处理方法、装置、电子设备及可读存储介质。
[0005]第一方面，本公开实施例中提供了一种图像处理方法，包括：
[0006]获取与视频流中的图像帧相对应的掩模；
[0007]根据所述图像帧，生成与所述图像帧相对应的光流图矩阵；
[0008]根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸。
[0009]结合第一方面，本公开在第一方面的第一种实现方式中，所述获取与视频流中的图像帧相对应的掩模，包括：获取与视频流中的第一帧图像相对应的第一掩模和与所述第一帧图像之后的第二帧图像相对应的第二掩模，所述第一掩模用于从所述第一帧图像中分割出目标对象，所述第二掩模用于从所述第二帧图像中分割出目标对象。
[0010]结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述获取与视频流中的第一帧图像相对应的第一掩模和与所述第一帧图像之后的第二帧图像相对应的第二掩模，包括：
[0011]当所述第一帧图像是视频流中的首帧图像时，通过将所述第一帧图像输入训练好的掩模生成模型得到所述第一掩模，当所述第一帧图像不是所述视频流中的首帧图像时，将根据所述第一帧图像和所述第一帧图像的前一帧图像获得的所述第一帧图像的目标掩模作为所述第一掩模；
[0012]通过将所述第二帧图像输入训练好的掩模生成模型得到所述第二掩模。
[0013]结合第一方面，本公开在第一方面的第三种实现方式中，所述根据所述图像帧，生成与所述图像帧相对应的光流图矩阵，包括：根据所述第一帧图像和所述第二帧图像生成光流图矩阵，所述光流图矩阵中的每个元素是所述第一帧图像中的相应单位显示块的光流矢量，所述单位显示块包括一个或多个像素。
[0014]结合第一方面，本公开在第一方面的第四种实现方式中，所述根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸，包括：根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，所述目标掩模用于从所述第二帧图像中分割出目标对象。
[0015]结合第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，包括：
[0016]根据所述第一掩模和所述光流图矩阵生成第三掩模；
[0017]根据所述第三掩模、所述第二掩模、所述光流图，生成第四掩模；
[0018]根据所述第四掩模生成所述目标掩模。
[0019]结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述根据所述第一掩模和所述光流图生成第三掩模，包括：
[0020]将所述第一掩模基于所述光流图矩阵进行像素重映射，生成所述第三掩模。
[0021]结合第一方面的第五种实现方式，本公开在第一方面的第七种实现方式中，所述根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，还包括：
[0022]基于所述光流图矩阵得到光流矩阵，所述光流矩阵的每个元素是所述光流图中相应元素的模。
[0023]结合第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，所述根据所述第三掩模、所述第二掩模、所述光流图，生成第四掩模，包括：
[0024]获取所述第三掩模与所述光流矩阵的反结果进行点乘得到的第一乘积，所述光流矩阵的反结果是用单位矩阵减去所述光流矩阵得到的；
[0025]获取所述第二掩模与所述光流矩阵进行点乘得到的第二乘积；
[0026]根据所述第一乘积和所述第二乘积之和，生成所述第四掩模。
[0027]结合第一方面的第五种实现方式，本公开在第一方面的第九种实现方式中，所述根据所述第四掩模生成所述目标掩模，包括：
[0028]通过所述第二掩模和所述第二帧图像的目标对象边缘检测结果修正所述第四掩模，将修正后的第四掩模作为所述目标掩模。
[0029]结合第一方面的第九种实现方式，本公开在第一方面的第十种实现方式中，所述通过所述第二掩模和所述第二帧图像的目标对象边缘检测结果修正所述第四掩模，包括：
[0030]获取所述第四掩模与所述第二帧图像的目标对象边缘检测结果的反结果进行点乘得到的第三乘积，所述目标对象边缘检测结果的反结果是用单位矩阵减去目标对象边缘检测结果的反结果得到的；
[0031]获取所述第二掩模与所述目标对象边缘检测结果进行点乘得到的第四乘积；
[0032]根据所述第三乘积和所述第四乘积之和，生成所述目标掩模。
[0033]结合第一方面的第十种实现方式，本公开在第一方面的第十一种实现方式中，所述根据所述第三乘积和所述第四乘积之和，生成所述目标掩模，包括：
[0034]将所述第三乘积和所述第四乘积之和中的每个单位显示块的值与相应的预设阈值比较，得到所述目标掩模中的对应单位显示块的值。
[0035]第二方面，本公开实施例中提供了一种图像处理方法，包括：
[0036]接收生成用于从视频流中分割出目标对象的目标掩摸的请求，所述请求包括视频流标识信息和目标对象标识信息；
[0037]根据所述视频流标识信息，获取所述视频流，根据所述目标对象标识信息获取相应的掩摸生成模型；
[0038]通过所述掩摸生成模型获取与所述视频流中的图像帧相对应的掩模；
[0039]根据所述图像帧，生成与所述图像帧相对应的光流图矩阵；
[0040]根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸。第三方面，本公开实施例中提供了一种图像处理装置，包括：
[0041]获取与视频流中的图像帧相对应的掩模；
[0042]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取与视频流中的图像帧相对应的掩模；根据所述图像帧，生成与所述图像帧相对应的光流图矩阵；根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸。2.根据权利要求1所述的方法，其中，所述获取与视频流中的图像帧相对应的掩模，包括：获取与视频流中的第一帧图像相对应的第一掩模和与所述第一帧图像之后的第二帧图像相对应的第二掩模，所述第一掩模用于从所述第一帧图像中分割出目标对象，所述第二掩模用于从所述第二帧图像中分割出目标对象。3.根据权利要求2所述的方法，其中，所述获取与视频流中的第一帧图像相对应的第一掩模和与所述第一帧图像之后的第二帧图像相对应的第二掩模，包括：当所述第一帧图像是视频流中的首帧图像时，通过将所述第一帧图像输入训练好的掩模生成模型得到所述第一掩模，当所述第一帧图像不是所述视频流中的首帧图像时，将根据所述第一帧图像和所述第一帧图像的前一帧图像获得的所述第一帧图像的目标掩模作为所述第一掩模；通过将所述第二帧图像输入训练好的掩模生成模型得到所述第二掩模。4.根据权利要求1所述的方法，其中，所述根据所述图像帧，生成与所述图像帧相对应的光流图矩阵，包括：根据所述第一帧图像和所述第二帧图像生成光流图矩阵，所述光流图矩阵中的每个元素是所述第一帧图像中的相应单位显示块的光流矢量，所述单位显示块包括一个或多个像素。5.根据权利要求1所述的方法，其中，所述根据所述掩摸和所述光流图矩阵，生成用于从所述视频流中分割出目标对象的目标掩摸，包括：根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，所述目标掩模用于从所述第二帧图像中分割出目标对象。6.根据权利要求5所述的方法，其中，所述根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，包括：根据所述第一掩模和所述光流图矩阵生成第三掩模；根据所述第三掩模、所述第二掩模、所述光流图，生成第四掩模；根据所述第四掩模生成所述目标掩模。7.根据权利要求6所述的方法，其中，所述根据所述第一掩模和所述光流图生成第三掩模，包括：将所述第一掩模基于所述光流图矩阵进行像素重映射，生成所述第三掩模。8.根据权利要求6所述的方法，其中，所述根据所述第一掩模、所述第二掩模和所述光流图矩阵生成与所述第二帧图像相对应的目标掩模，还包括：基于所述光流图矩阵得到光流矩阵，所述光流矩阵的每个元素是所述光流图中相应元素的模。9.根据权利要求8所述的方法，其中，所述根据所述第三掩模、所述第二掩模、所述光流
图，生成第四掩模，包括：获取所述第三掩模与所述光流矩阵的反结果进行点乘得到的第一乘积，所述光流矩阵的反结果是用单位矩阵减去所述光流矩阵得到的；获取所述第二掩模与所述光流矩阵进行点乘得到的第二乘积；根据所述第一乘积和所述第二乘积之和，生成所...

【专利技术属性】
技术研发人员：黄明杨，马菲莹，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：