一种基于实时视频流人像抠图的视频合成方法及系统技术方案

本发明专利技术公开了一种基于实时视频流人像抠图的视频合成方法及系统，包括：构建由背景视频和背景音乐组成的素材库；获取用户在素材库中选择的背景视频的用户位置，通过采集用户的视频信息，将视频图像在用户位置处与背景视频同步合成后播放；基于用户在素材库中选择的背景音乐，通过提取的用户的音频信息，与背景视频同步播放；本发明专利技术兼容绝大多数摄像头、麦克风且支持任意大小的视频输入，使机器替代传统绿幕抠像、人工抠图与剪辑工作为出发点，形成了用于实时视频流人像抠图并合成视频的新的技术解决方案。技术解决方案。技术解决方案。

【技术实现步骤摘要】
一种基于实时视频流人像抠图的视频合成方法及系统


[0001]本专利技术涉及图像处理
，具体而言，涉及一种基于实时视频流人像抠图的视频合成方法及系统。

技术介绍

[0002]在广电行业，实时视频人物抠像的要求，一般需要在虚拟演播室中基于绿幕为背景才可以达到比较精细的抠像效果，此外录制下来的视频，可能还存在新媒体端传播的需求，需通过专业转格式软件转换格式后才能发送到新媒体端，这样的流程也是过于复杂，对于目前移动端的快速分发，也是不利的。
[0003]随着人工智能技术的日渐成熟以及在各行各业的广泛应用，现有的人像分割算法已经较为成熟，但市面上的一些人像合成产品要么价格昂贵，要么就是不能满足实时性、高质量的需求，因此，急需一种基于实时视频流人像抠图的视频合成方法及系统，结合实际业务场景，兼顾视频内容质量和实时性要求。

技术实现思路

[0004]为了解决上述问题，本专利技术的目的是提供一种基于实时视频流人像抠图的视频合成方法及系统，将人物从摄像头拍摄的视频中抠出，合成到另一个背景视频中，实现了人像提取、人像合成与自动视频生成。
[0005]为了实现上述技术目的，本专利技术提供了一种基于实时视频流人像抠图的视频合成方法，包括以下步骤：
[0006]构建由第一背景视频和第一背景音乐组成的素材库；
[0007]获取用户在素材库中选择的第一背景视频的第一用户位置，通过采集用户的第一视频信息，将视频图像在第一用户位置处与第一背景视频同步合成后播放；
[0008]基于用户在素材库中选择的第一背景音乐，通过提取的用户的第一音频信息，与第一背景视频同步播放。
[0009]优选地，在采集用户的第一视频信息的过程中，在第一背景视频中设置若干个用户位置，根据用户选择的第一用户位置，通过采集用户的第一视频信息，与第一背景视频同步合成后播放。
[0010]优选地，在将用户的第一视频信息与背景视频进行同步合成后播放的过程中，切换至第二背景视频，根据第一背景视频和第二背景视频的用户位置的位置关系，通过第一用户位置，生成第二用户位置，并将用户的第二视频信息和/或第一视频信息，在第二用户位置与第二背景视频进行同步合成后播放。
[0011]优选地，在生成第二用户位置的过程中，获取与第二背景视频的用户位置，距离最近的第一背景视频的用户位置，作为第二用户位置，其中，当存在不止一个距离最近的用户位置时，根据用户与第二用户视频的用户位置的相对位置最近距离，生成第二用户位置。
[0012]优选地，在将用户的第一视频信息与背景视频进行同步合成后播放的过程中，基
于第一背景视频或第二背景视频，采集用户的与第一视频信息和第二视频信息的视频角度不同的第三视频信息，与第一背景视频或第二背景视频进行同步合成后播放，其中，通过将第三视频信息与第一视频信息或第二视频信息进行同步切换的方式，在第一背景视频或第二背景视频进行同步合成后播放。
[0013]优选地，在采集第一音频信息的过程中，根据第一音频信息，通过获取第一背景音乐，将第一音频信息与第一背景音乐进行同步后，与第一背景视频进行同步播放。
[0014]优选地，在将背景音乐和用户的音频信息与背景视频进行同步播放的过程中，采集用户的第二音频信息，获取第二背景音乐，将第一背景音乐和第二背景音乐拼接后，与第二音频信息进行同步，与第一背景视频或第二背景视频进行同步播放。
[0015]本专利技术提供了一种基于实时视频流人像抠图的视频合成系统，包括：
[0016]素材库模块，用于构建由第一背景视频和第一背景音乐组成的素材库；
[0017]视频处理模块，用于获取用户在素材库中选择的第一背景视频的第一用户位置，通过采集用户的第一视频信息，将视频图像在第一用户位置处与第一背景视频同步合成后播放；
[0018]音频处理模块，基于用户在素材库中选择的第一背景音乐，通过提取的用户的第一音频信息，与第一背景视频同步播放。
[0019]本专利技术公开了以下技术效果：
[0020]本专利技术兼容绝大多数摄像头、麦克风且支持任意大小的视频输入，使机器替代传统绿幕抠像、人工抠图与剪辑工作为出发点，提出了一种实时视频流人像抠图并合成视频的新的技术解决方案。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术实施例所述的视频合成步骤示意图；
[0023]图2是本专利技术实施例所述的基于本专利技术的视频合成方法形成的交互式的线下活动打卡装置结构示意图；
[0024]图3是本专利技术实施例所述的打卡装置的结构设计图；
[0025]图4是本专利技术实施例所述的视频合成流程示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所
有其他实施例，都属于本申请保护的范围。
[0027]如图1
‑
4所示，本专利技术提供了一种基于实时视频流人像抠图的视频合成方法，包括以下步骤：
[0028]构建由第一背景视频和第一背景音乐组成的素材库；
[0029]获取用户在素材库中选择的第一背景视频的第一用户位置，通过采集用户的第一视频信息，将视频图像在第一用户位置处与第一背景视频同步合成后播放；
[0030]基于用户在素材库中选择的第一背景音乐，通过提取的用户的第一音频信息，与第一背景视频同步播放。
[0031]本专利技术提到的同步合成的意思是将用户视频与背景视频同步后进行合成，使得播放帧频保持一致，或根据用户视频的帧频，调整背景视频的帧频，进而避免合成后的画面失真。
[0032]进一步优选地，本专利技术在采集用户的第一视频信息的过程中，本专利技术在第一背景视频中设置若干个用户位置，根据用户选择的第一用户位置，通过采集用户的第一视频信息，与第一背景视频同步合成后播放。
[0033]进一步优选地，本专利技术在将用户的第一视频信息与背景视频进行同步合成后播放的过程中，本专利技术在背景视频切换的过程中，将第一背景视频切换至第二背景视频，根据第一背景视频和第二背景视频的用户位置的位置关系，通过第一用户位置，生成第二用户位置，并将用户的第二视频信息和/或第一视频信息，在第二用户位置与第二背景视频进行同步合成后播放。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时视频流人像抠图的视频合成方法，其特征在于，包括以下步骤：构建由第一背景视频和第一背景音乐组成的素材库；获取所述用户在所述素材库中选择的所述第一背景视频的第一用户位置，通过采集所述用户的第一视频信息，将所述视频图像在所述第一用户位置处与所述第一背景视频同步合成后播放；基于所述用户在所述素材库中选择的所述第一背景音乐，通过提取的所述用户的第一音频信息，与所述第一背景视频同步播放。2.根据权利要求1所述一种基于实时视频流人像抠图的视频合成方法，其特征在于：在采集所述用户的第一视频信息的过程中，在所述第一背景视频中设置若干个用户位置，根据所述用户选择的所述第一用户位置，通过采集所述用户的所述第一视频信息，与所述第一背景视频同步合成后播放。3.根据权利要求2所述一种基于实时视频流人像抠图的视频合成方法，其特征在于：在将用户的第一视频信息与背景视频进行同步合成后播放的过程中，切换至第二背景视频，根据所述第一背景视频和所述第二背景视频的所述用户位置的位置关系，通过所述第一用户位置，生成第二用户位置，并将所述用户的第二视频信息和/或所述第一视频信息，在所述第二用户位置与所述第二背景视频进行同步合成后播放。4.根据权利要求3所述一种基于实时视频流人像抠图的视频合成方法，其特征在于：在生成第二用户位置的过程中，获取与所述第二背景视频的所述用户位置，距离最近的所述第一背景视频的所述用户位置，作为所述第二用户位置，其中，当存在不止一个距离最近的用户位置时，根据所述用户与所述第二用户视频的所述用户位置的相对位置最近距离，生成所述第二用户位置。5.根据权利要求4所述一种基于实时视频流人像抠图...

【专利技术属性】
技术研发人员：郭昌雄，瞿向雷，杜歆文，任科，周天，邹正元，吴文怡，徐麦文，唐明，
申请(专利权)人：苏州市广播电视总台，
类型：发明
国别省市：