背景替换方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请公开了一种背景替换、装置、电子设备及计算机可读存储介质，其中，所述背景替换包括：通过云端处理得到遮罩数据，从云端获取到视频数据，终端判断缓存的视频数据中是否存在当前帧的遮罩数据，如果存在当前帧的遮罩数据，从视频数据中获取所述当前帧的遮罩数据，如果不存在当前帧的遮罩数据，从当前帧的图像中获取当前帧的遮罩数据，将当前帧的遮罩数据与待替换的背景进行融合，同样也实现了背景替换。在无法使用云端处理的遮罩数据时，无缝切换至使用在终端获取的当前帧的遮罩数据，保证视频图像背景替换功能的正常进行，提高了视频图像背景替换的稳定性，也提高了背景替换功能抵抗如网络等外界因素干扰的能力。

【技术实现步骤摘要】
背景替换方法、装置、电子设备及计算机可读存储介质
本申请涉及图像处理
，特别是涉及一种背景替换方法、装置、电子设备及计算机可读存储介质。
技术介绍
与传统的视频播放相比，目前盛行的网络直播、点播等视频播放的表现方式更加多样，且互动性更强，能够支持观看视频的用户对视频进行设置，呈现给用户不同的观看效果。比如，用户可以对播放中的视频进行背景设置和修改，将原视频中的背景替换为其他背景，提高视频播放的娱乐性和可操作性，也能提高用户的观看体验。但实际视频播放中，受到网络等外界因素的影响，对视频进行背景分割和替换的效果不佳，经常出现背景与前景不匹配的情况，背景替换效果不够稳定，导致用户体验不佳。
技术实现思路
本申请主要解决的技术问题是提供一种背景替换方法、装置、电子设备及计算机可读存储介质，能够较好的、更稳定地实现视频图像的背景替换。为了解决上述问题，本申请第一方面提供了一种背景替换方法，所述方法包括：从云端获取到视频数据；判断所述视频数据中是否存在当前帧的遮罩数据；如果所述视频数据中存在所述当前帧的遮罩数据，从所述视频数据中获取所述当前帧的遮罩数据；如果所述视频数据中不存在所述当前帧的遮罩数据，从所述当前帧的图像获取所述当前帧的遮罩数据；将所述当前帧的遮罩数据与待替换的背景进行融合，得到新的背景。为了解决上述问题，本申请第二方面提供了一种背景替换装置，包括：视频数据获取模块，用于从云端获取到视频数据；判断模块，用于判断所述视频数据中是否存在当前帧的遮罩数据；遮罩数据获取模块，用于在所述视频数据中存在当前帧的遮罩数据时，从所述视频数据中获取所述当前帧的遮罩数据；还用于在所述视频数据中不存在所述当前帧的遮罩数据时，从所述当前帧的图像获取所述当前帧的遮罩数据；背景替换模块，用于将所述当前帧的遮罩数据与待替换的背景进行融合，得到新的背景。为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面的背景替换方法。为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的背景替换方法。本专利技术的有益效果是：区别于现有技术的情况，本申请提供的背景替换方法，通过云端处理得到遮罩数据，从云端获取到视频数据，终端判断缓存的视频数据中是否存在当前帧的遮罩数据，如果视频数据中存在当前帧的遮罩数据，从视频数据中获取所述当前帧的遮罩数据，将当前帧的遮罩数据与待替换的背景进行融合，得到新的背景，实现背景替换；而当视频数据中不存在当前帧的遮罩数据时，从当前帧的图像中获取当前帧的遮罩数据，将当前帧的遮罩数据与待替换的背景进行融合，同样也实现了背景替换。在无法获取和使用云端处理的遮罩数据时，无缝切换至使用在终端获取的当前帧的遮罩数据，进行背景融合，实现背景替换，保证视频图像背景替换功能的正常进行，提高了视频图像背景替换的稳定性，提高了用户使用体验，同时，提高背景替换功能抵抗如网络等外界因素干扰的能力。附图说明图1是本申请背景替换方法一实施例的流程示意图；图2是图1中步骤S15一实施例的流程示意图；图3是本申请背景替换方法另一实施例的流程示意图；图4是本申请背景替换方法又一实施例的流程示意图；图5是本申请背景替换装置一实施例的框架示意图；图6是本申请电子设备一实施例的框架示意图；图7是本申请计算机可读存储介质一实施例的框架示意图。具体实施方式下面结合说明书附图，对本申请实施例的方案进行详细说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。本申请中，云端和终端均可以进行背景分割得到遮罩数据，由于云端服务器与客户端的计算能力和处理能力不同，在云端和终端进行背景分割得到遮罩数据的方式不同，且基于不同方式获取的遮罩数据进行背景替换所采用的方式会不同，本申请提供的背景替换的方法，可以实现云端与终端方式的无缝切换，提高视频图像中背景替换的稳定性，提高用户体验。本申请提供的视频图像的背景替换方法，可以对实时视频进行目标对象的背景替换，其中，目标对象可以为系统默认，也可以为用户指定。目标对象可以为人像、动物或者卡通形象等，且目标对象不限于单独的一个，一帧视频图像中可以有多个目标对象。可以理解的是，每一帧视频图像中，除目标对象之外的即为背景，目标对象也可以叫做前景，本申请的背景替换即为对目标对象的背景进行替换，本申请提到的遮罩数据也是基于确定的目标对象对图像数据处理所得到的遮罩数据。其中，遮罩即遮挡、遮盖，可以通过遮罩实现对图像中的部分图像内容进行遮挡，并显示特定区域的图像内容，相当于一个窗口，而遮罩的相关数据即本申请的遮罩数据。或者也可以说，遮罩数据是包括目标对象轮廓的相关数据。比如，对一个视频图像进行的背景分离，得到了遮罩数据，其中，目标对象为显示部分，对应部分的遮罩数据值为1；而视频图像中除了目标对象之外的部分，可以称为背景，是不显示的部分，对应的遮罩数据值为0。请参阅图1，图1是本申请背景替换方法一实施例的流程示意图。本实施例应用于许多场景，例如网络视频、直播视频等。以网络直播视频为例，该背景替换方法可应用于网络直播场景，当前视频帧指的是直播视频中与当前时刻对应的数据帧，当前视频帧中包括主播的人像，即目标对象为主播的人像。为了给当前视频帧替换一个新背景，需要先将主播人像从当前视频帧中分割出来，即获取到该目标对象的背景对应的遮罩数据，然后再与将该遮罩数据与新背景融合形成新的背景从而实现背景替换。具体而言，可以包括如下步骤：步骤S11：从云端获取到视频数据。本申请中终端与云端网络连接，云端处理得到遮罩数据，终端从云端获取到的视频数据，其中，遮罩数据也属于视频数据。云端下发的视频数据的格式可以根据需求进行相应设置，一般为压缩格式的数据，比如GIF、JPEG、BMP、PNG或WebP等根据不同压缩算法得到的压缩格式的数据，本申请不作限定。终端接收到压缩格式的数据后，也需要进行解压为位图Bitmap格式。云端下发的视频数据可以为加密数据，以保证传输过程不出错，提高数据的安全性，而终端接收到加密的数据后，需要进行相应的数据解密。视频数据中包括颜色信息，可以包括RGB通道的数据，其中，R、G、B分别代表红色(Red)、绿色(Green)和蓝色(Blue)。其中，GIF是一种无损压缩格式，压缩率一般在50％左右，可插入多帧，从而实现动画效果。JPG，又称JPEG本文档来自技高网...

【技术保护点】
1.一种背景替换方法，其特征在于，包括：/n从云端获取到视频数据；/n判断所述视频数据中是否存在当前帧的遮罩数据；/n如果所述视频数据中存在所述当前帧的遮罩数据，从所述视频数据中获取所述当前帧的遮罩数据；/n如果所述视频数据中不存在所述当前帧的遮罩数据，从所述当前帧的图像获取所述当前帧的遮罩数据；/n将所述当前帧的遮罩数据与待替换的背景进行融合，得到新的背景。/n

【技术特征摘要】
1.一种背景替换方法，其特征在于，包括：
从云端获取到视频数据；
判断所述视频数据中是否存在当前帧的遮罩数据；
如果所述视频数据中存在所述当前帧的遮罩数据，从所述视频数据中获取所述当前帧的遮罩数据；
如果所述视频数据中不存在所述当前帧的遮罩数据，从所述当前帧的图像获取所述当前帧的遮罩数据；
将所述当前帧的遮罩数据与待替换的背景进行融合，得到新的背景。


2.根据权利要求1所述的背景替换方法，其特征在于，所述如果所述视频数据中不存在所述当前帧的遮罩数据，从所述当前帧的图像获取所述当前帧的遮罩数据的步骤，包括：
如果所述视频数据中不存在所述当前帧的遮罩数据，复用前一帧的遮罩数据作为所述当前帧的遮罩数据；
统计所述前一帧的遮罩数据的连续复用次数，并判断所述复用次数是否达到预设次数；
如果所述复用次数达到所述预设次数，执行所述从所述当前帧的图像获取所述当前帧的遮罩数据的步骤。


3.根据权利要求1所述的背景替换方法，其特征在于，所述判断所述视频数据中是否存在当前帧的遮罩数据的步骤，包括：
判断所述视频数据中是否存在设定目标对象背景所对应当前帧的遮罩数据；
所述将所述当前帧的遮罩数据与待替换的背景进行融合，得到新的背景的步骤之后，还包括：
将所述新的背景与所述设定目标对象合成，生成与所述当前帧对应的合成帧。


4.根据权利要求1或2所述的背景替换方法，其特征在于，所述如果所述视频数据中不存在所述当前帧的遮罩数据，从所述当前帧的图像获取所述当前帧的遮罩数据的步骤，包括：
如果所述视频数据中不存在所述当前帧的遮罩数据，对所述当前帧以及所述当前帧之后的图像帧进行抠图识别，得到所述当前帧以及所述当前帧之后的图像帧的遮罩数据。


5.根据权利要求1或2所述的背景替换方法，其特征在于，所述判断所述视频数据中是否存在当前帧的遮罩数据的步骤，包括：
根据显示时间戳PTS查询所述视频数据中是否存在当前帧的遮罩数据。


6.根据权利要求1或2所述的背景替换方法，其特征在于，所述从云端获取到视频数据的步骤，包括：
...

【专利技术属性】
技术研发人员：李武军，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44