一种用于视频直播虚拟对象的交互方法、装置及存储介质制造方法及图纸

本发明专利技术提出了一种用于视频直播虚拟对象的交互方法、装置及存储介质，涉及视频直播领域。包括对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面；在真实环境设置摄影机进行现场拍摄，将上述虚拟人物与上述真实环境的目标位置相匹配；实时合成拍摄画面和上述动态画面以生成视频画面，同时对上述虚拟人物进行现场配音，将上述视频画面进行直播；识别上述摄影机所拍摄人物的动作或语音，根据识别结果判断是否更换上述虚拟人物的形象；还基于上述方法提出了一种视频直播虚拟对象的交互装置，本通过增强真实人物和虚拟人物的互动，促进了直播的推广，解决了现有直播方式互动效果不好的问题。方式互动效果不好的问题。方式互动效果不好的问题。

【技术实现步骤摘要】
一种用于视频直播虚拟对象的交互方法、装置及存储介质


[0001]本专利技术涉及视频直播领域，具体而言，涉及一种用于视频直播虚拟对象的交互方法、装置及存储介质。

技术介绍

[0002]XR虚拟直播是通过虚拟与现实环境结合或者全部虚拟环境实现的新型直播方式，应用得比较多的是真实人物与虚拟场景或结合产品做虚拟发布会、虚拟演唱会和虚拟活动等等。XR虚拟直播技术是在UE环境中还原真实环境，实时渲染输出内容，真人在虚拟环境下完成直播；或是真人主播通过表情、动作捕捉等技术，将一举一动投射到负责出镜的、事先设定好的2D或3D形象上，在屏幕后实时提供声音并输出内容的技术。目前，需要一种虚拟对象的交互方法，解决现有直播方式的互动效果不好的问题。

技术实现思路

[0003]本专利技术的目的之一在于提供一种用于视频直播虚拟对象的交互方法，其通过增强真实人物和虚拟人物的互动，促进了直播的推广，解决了现有直播方式互动效果不好的问题。
[0004]本专利技术的目的之一在于提供一种用于视频直播虚拟对象的交互装置，其通过增强真实人物和虚拟人物的互动，促进了直播的推广，解决了现有直播方式互动效果不好的问题。
[0005]本专利技术的目的之一在于提供一种计算机存储介质，其通过增强真实人物和虚拟人物的互动，促进了直播的推广，解决了现有直播方式互动效果不好的问题。
[0006]为解决上述技术问题，本专利技术采用的技术方案为：
[0007]第一方面，本申请实施例提供一种用于视频直播虚拟对象的交互方法，其包括如下步骤，S1：对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面；S2：在真实环境设置摄影机进行现场拍摄，将上述虚拟人物与上述真实环境的目标位置相匹配；S3：实时合成拍摄画面和上述动态画面以生成视频画面，同时对上述虚拟人物进行现场配音，将上述视频画面进行直播；S4：识别上述摄影机所拍摄人物的动作或语音，根据识别结果判断是否更换上述虚拟人物的形象。
[0008]进一步地，在本专利技术中，上述一种用于视频直播虚拟对象的交互方法，S1中包括如下步骤，上述目标生成人物选择上述虚拟人物的形象，对动作及面部进行动态捕捉后实时生成上述动态画面。
[0009]进一步地，在本专利技术中，上述一种用于视频直播虚拟对象的交互方法，S2中包括如下步骤，识别上述拍摄画面的目标产品，根据上述目标产品的产品位置确定上述虚拟人物的上述目标位置。
[0010]进一步地，在本专利技术中，上述一种用于视频直播虚拟对象的交互方法，S2中包括如下步骤，识别上述拍摄画面的上述拍摄人物，根据上述拍摄人物的人物位置移动上述虚拟
人物的上述目标位置。
[0011]进一步地，在本专利技术中，上述一种用于视频直播虚拟对象的交互方法，S3中包括如下步骤，根据上述虚拟人物的形象对上述目标生成人物的声音进行变声处理。
[0012]进一步地，在本专利技术中，上述一种用于视频直播虚拟对象的交互方法，S4中包括如下步骤，识别上述摄影机所拍摄人物的动作或语音，根据识别结果生成更换上述虚拟人物对应形象的指令。
[0013]第二方面，本申请实施例提供一种用于视频直播虚拟对象的交互装置，其包括，虚拟生成模块：对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面；虚拟匹配模块：在真实环境设置摄影机进行现场拍摄，将上述虚拟人物与上述真实环境的目标位置相匹配；视频直播模块：实时合成拍摄画面和上述动态画面以生成视频画面，同时对上述虚拟人物进行现场配音，将上述视频画面进行直播；虚拟更换模块：识别上述摄影机所拍摄人物的动作或语音，根据识别结果判断是否更换上述虚拟人物的形象。
[0014]第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项上述的方法。
[0015]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0016]本申请通过对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面，从而将目标生成人物的动作及表情映射到虚拟人物上，提高虚拟人物的生动效果；通过在真实环境设置摄影机进行现场拍摄，将虚拟人物与真实环境的目标位置相匹配，从而对虚拟人物在拍摄画面中所在区域进行定位，方便虚拟人物行走时在拍摄画面中移动，提高了互动效果；实时合成拍摄画面和动态画面以生成视频画面，并且同时对虚拟人物进行现场配音，从而将视频画面进行直播，针对当前观众的反应及时进行反馈，进一步提高了当前直播的互动真实性；通过识别拍摄人物的动作或语音，根据识别结果判断是否需要更换虚拟人物的形象，从而增强了所拍摄真实人物与虚拟人物之间的互动性，通过召唤不同形象的虚拟人物，从而与当前场景及介绍产品进行匹配，从而满足观众的互动需求，提高了直播的推广效果。本专利技术通过增强真实人物和虚拟人物的互动，促进了直播的推广，解决了现有直播方式互动效果不好的问题。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1为本专利技术实施例1用于视频直播虚拟对象的交互方法的流程图；
[0019]图2为本专利技术实施例1配置虚拟人物的流程图；
[0020]图3为本专利技术实施例1确定目标位置的流程图；
[0021]图4为本专利技术实施例2用于视频直播虚拟对象的交互系统；
[0022]图5为本专利技术实施例3电子设备的原理图。
具体实施方式
[0023]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]实施例1
[0025]请参阅图1～图3，图1～图3所示为本申请实施例提供的用于视频直播虚拟对象的交互方法的示意图。用于视频直播虚拟对象的交互方法，其包括如下步骤，S1：对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面；S2：在真实环境设置摄影机进行现场拍摄，将上述虚拟人物与上述真实环境的目标位置相匹配；S3：实时合成拍摄画面和上述动态画面以生成视频画面，同时对上述虚拟人物进行现场配音，将上述视频画面进行直播；S4：识别上述摄影机所拍摄人物的动作或语音，根据识别结果判断是否更换上述虚拟人物的形象。
[0026]本申请通过对目标生成人物的动作及面部进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于视频直播虚拟对象的交互方法，其特征在于，包括如下步骤，S1：对目标生成人物的动作及面部进行动态捕捉后实时生成虚拟人物的动态画面；S2：在真实环境设置摄影机进行现场拍摄，将所述虚拟人物与所述真实环境的目标位置相匹配；S3：实时合成拍摄画面和所述动态画面以生成视频画面，同时对所述虚拟人物进行现场配音，将所述视频画面进行直播；S4：识别所述摄影机所拍摄人物的动作或语音，根据识别结果判断是否更换所述虚拟人物的形象。2.如权利要求1所述的一种用于视频直播虚拟对象的交互方法，其特征在于，S1中包括如下步骤，所述目标生成人物选择所述虚拟人物的形象，对动作及面部进行动态捕捉后实时生成所述动态画面。3.如权利要求1所述的一种用于视频直播虚拟对象的交互方法，其特征在于，S2中包括如下步骤，识别所述拍摄画面的目标产品，根据所述目标产品的产品位置确定所述虚拟人物的所述目标位置。4.如权利要求3所述的一种用于视频直播虚拟对象的交互方法，其特征在于，S2中包括如下步骤，识别所述拍摄画面的所述拍摄人物，根据所述拍摄人物的人物位置移动所述虚拟人物的所述目...

【专利技术属性】
技术研发人员：崔非，
申请(专利权)人：上海傲驰广告文化集团有限公司，
类型：发明
国别省市：