【技术实现步骤摘要】
本申请实施例涉及图像处理，尤其涉及基于视频的全景分割抠图方法、装置、设备、介质及产品。
技术介绍
1、相关技术中，进行全景分割的方案仅基于语义分割级别进行打点抠取目标轮廓，将目标和背景进行分离。其一般使用类似于labelme(一种图像标注工具)之类的工具，采用“打点”的方式进行分割，或者使用photoshop(一种图像处理软件)等工具对目标对象进行一个个的分割，最终得到全景分割对应的掩膜图片。
2、由于其采用的是打点描边的方式，因此抠图精度较低，抠图留有白边，抠图效果失真且不自然。另外，在对复杂物体进行标注时，一个目标可能需要标注上百个点，标注难度较大，效率较低。且上述仅基于语义分割级别进行打点抠取目标轮廓，进而将目标和背景进行分离的方法，并不适用于视频类对象的全景分割。
技术实现思路
1、本申请实施例提供基于视频的全景分割抠图方法、装置、设备、介质及产品，以解决相关技术中的全景分割方式标注难度大、效率低、抠图效果不自然，且不适用于具有连续图像帧的视频类对象的技术问题。
2、为解决上述技术问题，本申请实施例提供如下几个方面：
3、第一方面，本申请实施例提供一种基于视频的全景分割抠图方法，所述方法包括：
4、获取待处理视频流的目标帧；
5、根据所述目标帧中对目标区域的标注信息，生成所述目标帧的掩膜；
6、采用掩膜跟踪算法，以所述目标帧的掩膜为基准，生成临近帧的掩膜，并根据所述临近帧的掩膜，生成所述待处理视频流的掩
7、根据所述掩膜序列分别生成所述待处理视频流的每一视频帧的前景区域、背景区域及未知区域，得到每一视频帧对应的中间图；
8、对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果。
9、可选的，所述标注信息包括以下至少一项：在所述目标区域内的描点信息、在所述目标区域内的划线信息、针对于所述目标区域的文字描述信息。
10、可选的，根据所述目标帧的掩膜，采用掩膜跟踪算法，以所述目标帧的掩膜为基准，生成临近帧的掩膜，并根据所述临近帧的掩膜，生成所述待处理视频流的掩膜序列包括：
11、以所述目标帧的掩膜为基准，采用掩膜跟踪算法对所述目标帧的临近帧进行处理，生成所述临近帧的掩膜；其中，所述临近帧为所述目标帧的前临近帧和/或所述目标帧的后临近帧；
12、将所述临近帧作为新的目标帧，并重复所述以所述目标帧的掩膜为基准，采用掩膜跟踪算法对所述目标帧的临近帧进行处理，生成所述临近帧的掩膜的步骤，直到生成所述待处理视频流的首帧和末帧的掩膜，并将所有掩膜按照待处理视频流中，视频帧的前后顺序进行排序，生成所述待处理视频流的掩膜序列。
13、可选的，根据所述掩膜序列分别生成所述待处理视频流的每一视频帧的前景区域、背景区域及未知区域，得到每一视频帧对应的中间图包括：
14、获取所述掩膜序列中的任一待处理掩膜；
15、将所述任一待处理掩膜中，像素值为第一预设值的区域在所述待处理掩膜的对应视频帧中的对应区域确定为前景区域；
16、将所述任一待处理掩膜中，像素值为第二预设值的区域在所述待处理掩膜的对应视频帧中的对应区域确定为背景区域；
17、将所述前景区域和所述背景区域交界处的区域确定为未知区域，其中，位于所述未知区域内的像素的一部分属于所述前景区域，另一部分属于所述背景区域；
18、将所述前景区域、所述背景区域以及所述未知区域进行合成，得到所述任一待处理掩膜的对应视频帧的中间图。
19、可选的，所述抠图结果包括：通道图和前景图，在对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果之后，所述方法还包括：
20、基于自回归算法对每一视频帧所对应的抠图结果分别进行修正；
21、按照视频帧的播放顺序，将每一视频帧所对应的修正后的抠图结果分别和各自对应的目标背景图进行合成，得到包含所述目标区域的新的视频流。
22、可选的，基于自回归算法对每一视频帧所对应的全景分割抠图结果分别进行修正包括：
23、基于自回归算法对每一视频帧所对应的背景图进行修正；
24、基于所述自回归算法，根据修正后的背景图确定修正后的前景图；
25、基于所述自回归算法，根据修正后的背景图和修正后的前景图，确定修正后的通道图。
26、可选的，所述待处理视频流的目标帧包括：所述待处理视频流的关键帧。
27、第二方面，本申请实施例提供一种基于视频的全景分割抠图装置，所述装置包括：
28、获取模块，用于获取待处理视频流的目标帧；
29、执行模块，用于根据所述目标帧中对目标区域的标注信息，生成所述目标帧的掩膜；
30、采用掩膜跟踪算法，以所述目标帧的掩膜为基准，生成临近帧的掩膜，并根据所述临近帧的掩膜，生成所述待处理视频流的掩膜序列；
31、根据所述掩膜序列分别生成所述待处理视频流的每一视频帧的前景区域、背景区域及未知区域，得到每一视频帧对应的中间图；
32、对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果。
33、可选的，所述标注信息包括以下至少一项：在所述目标区域内的描点信息、在所述目标区域内的划线信息、针对于所述目标区域的文字描述信息。
34、可选的，所述执行模块，还用于以所述目标帧的掩膜为基准，采用掩膜跟踪算法对所述目标帧的临近帧进行处理，生成所述临近帧的掩膜；其中，所述临近帧为所述目标帧的前临近帧和/或所述目标帧的后临近帧；还用于将所述临近帧作为新的目标帧，并重复所述以所述目标帧的掩膜为基准，采用掩膜跟踪算法对所述目标帧的临近帧进行处理，生成所述临近帧的掩膜的步骤，直到生成所述待处理视频流的首帧和末帧的掩膜，并将所有掩膜按照待处理视频流中，视频帧的前后顺序进行排序，生成所述待处理视频流的掩膜序列。
35、可选的，所述执行模块，还用于获取所述掩膜序列中的任一待处理掩膜；
36、将所述任一待处理掩膜中，像素值为第一预设值的区域在所述待处理掩膜的对应视频帧中的对应区域确定为前景区域；
37、将所述任一待处理掩膜中，像素值为第二预设值的区域在所述待处理掩膜的对应视频帧中的对应区域确定为背景区域；
38、将所述前景区域和所述背景区域交界处的区域确定为未知区域，其中，位于所述未知区域内的像素的一部分属于所述前景区域，另一部分属于所述背景区域；
39、将所述前景区域、所述背景区域以及所述未知区域进行合成，得到所述任一待处理掩膜的对应视频帧的中间图。
40、可选的，所述抠图结果包括：通道图和前景图，所述执行模块，还用于在对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果之后，基于自回归算法对每一视频帧所对应的抠图结果分别进行修正；
41、按本文档来自技高网...
【技术保护点】
1.一种基于视频的全景分割抠图方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，根据所述目标帧的掩膜，采用掩膜跟踪算法，以所述目标帧的掩膜为基准，生成临近帧的掩膜，并根据所述临近帧的掩膜，生成所述待处理视频流的掩膜序列包括：
4.根据权利要求1所述的方法，其特征在于，根据所述掩膜序列分别生成所述待处理视频流的每一视频帧的前景区域、背景区域及未知区域，得到每一视频帧对应的中间图包括：
5.根据权利要求1所述的方法，其特征在于，所述抠图结果包括：通道图和前景图，在对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，基于自回归算法对每一视频帧所对应的全景分割抠图结果分别进行修正包括：
7.一种基于视频的全景分割抠图装置，其特征在于，所述装置包括：
8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于视频的全景分割抠图方法的步骤。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的基于视频的全景分割抠图方法的步骤。
...【技术特征摘要】
1.一种基于视频的全景分割抠图方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，根据所述目标帧的掩膜，采用掩膜跟踪算法，以所述目标帧的掩膜为基准，生成临近帧的掩膜，并根据所述临近帧的掩膜，生成所述待处理视频流的掩膜序列包括：
4.根据权利要求1所述的方法，其特征在于，根据所述掩膜序列分别生成所述待处理视频流的每一视频帧的前景区域、背景区域及未知区域，得到每一视频帧对应的中间图包括：
5.根据权利要求1所述的方法，其特征在于，所述抠图结果包括：通道图和前景图，在对所述中间图进行全景分割式抠图处理，生成每一视频帧所对应的抠图结果之后，所述方法还包括：
6.根据权利要求5所述的方法，其特...
【专利技术属性】
技术研发人员：周凯文，胥杰，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。