【技术实现步骤摘要】
本专利技术涉及云计算，具体涉及基于虚拟数字人的云互动方法、装置及计算机设备。
技术介绍
1、数字人指存在于非物理世界中，由计算机手段创造及使用，并具有多重人类特征(外貌特征、人类表演能力 交互能力等)的综合产物。虚拟数字人可按人格象征和图形维度划分，亦可根据人物图形维度划分。人物形象、语音生成模块、动画生成模块、音视频合成显示模块、交互模块构成虚拟数字人通用系统框架。其中，又以数字人的交互应用最广，能够应用至新媒体的各行各业，且简单高效。
2、目前真实人与云游戏的场景化交互，通常将真实人抽象为数字人，只是将数字人和云游戏场景进行画面融合，这种单一粗暴的融合方法，只能实现云游戏视觉上的交互，云游戏实景化交互感官单一，缺乏语言对话上的交互，用户对话无人应答，造成真人在云游戏实景化中体验感不足。
技术实现思路
1、本专利技术的目的在于提供基于虚拟数字人的云互动方法、装置及计算机设备，以解决现有技术中只是将数字人和云游戏场景进行画面融合，这种单一粗暴的融合方法，只能实现云游戏视觉上的交互，云游戏实景化交互感官单一，缺乏语言对话上的交互，用户对话无人应答，造成真人在云游戏实景化中体验感不足的技术问题。
2、为解决上述技术问题，本专利技术具体提供下述技术方案：
3、在本专利技术的第一方面，一种基于虚拟数字人的云互动方法，包括以下步骤：
4、获取用于生成虚拟数字人的人形素材和语义素材，以及用于虚拟数字人互动的云游戏场景素材；
5、利用第
6、利用第二神经网络，对语义素材和云游戏场景素材间的融合关系进行深度学习，得到数字人语义交互网络；
7、将所述数字人人形交互网络和数字人语义交互网络进行多模态组合，得到用于虚拟数字人与云游戏场景交互融合的数字人云互动网络。
8、作为本专利技术的一种优选方案，所述数字人人形交互网络的构建方法包括：
9、将人形素材和云游戏场景素材作为第一生成对抗网络中生成器的输入项，由第一生成对抗网络中的第一生成器输出表征数字人人形与云游戏场景融合结果的第一互动预测结果；
10、将第一互动预测结果与第一互动真实结果作为第一生成对抗网络中第一判别器的输入项，由第一生成对抗网络的第一判别器输出第一生成器的评价结果；
11、训练第一生成对抗网络以达到最优评价结果，并将具有最优评价结果的第一生成对抗网络作为数字人人形交互网络；
12、所述数字人人形交互网络为：
13、gf=gan1(f，g)；
14、式中，gf为第一互动预测结果，f为人形素材，g为云游戏场景素材，gan1为第一生成对抗网络。
15、作为本专利技术的一种优选方案，所述数字人语义交互网络的构建方法包括：
16、将语义素材和云游戏场景素材作为第二生成对抗网络中生成器的输入项，由第二生成对抗网络中的第二生成器输出表征数字人语义与云游戏场景融合结果的第二互动预测结果；
17、将第二互动预测结果与第二互动真实结果作为第二生成对抗网络中第二判别器的输入项，由第二生成对抗网络的第二判别器输出第二生成器的评价结果；
18、训练第二生成对抗网络以达到最优评价结果，并将具有最优评价结果的第二生成对抗网络作为数字人语义交互网络；
19、所述数字人语义交互网络为：gh=gan2(h，g)；
20、式中，gh为第二互动预测结果，h为语义素材，g为云游戏场景素材，gan2为第二生成对抗网络。
21、作为本专利技术的一种优选方案，所述数字人云互动网络的构建方法包括：
22、在数字人语义交互网络和数字人人形交互网络间设置多模态组合函数，所述多模态组合函数包括语义-人形组合函数和人形-语义组合函数；
23、利用多模态组合函数和logistic回归函数对数字人语义交互网络和数字人人形交互网络进行多模态组合，得到所述数字人云互动网络。
24、作为本专利技术的一种优选方案，所述多模态组合函数的设置方法包括：
25、在数字人语义交互网络朝向数字人人形交互网络的方向上，设置用于将第二互动预测结果的语义素材融合至第一互动预测结果中的语义-人形组合函数；
26、在数字人人形交互网络朝向数字人语义交互网络的方向上，设置用于将第一互动预测结果的人形素材融合至第二互动预测结果中的人形-语义组合函数；其中，所述语义-人形组合函数为：finter=f_channel(gh)；
27、式中，finter为第二互动预测结果的人形素材，f_channel为人形素材的数据提取通道，gh为第二互动预测结果；
28、所述人形-语义组合函数为：hinter=h_channel(gf)；
29、式中，hinter为第一互动预测结果的语义素材，h_channel为语义素材的数据提取通道，gf为第二互动预测结果。作为本专利技术的一种优选方案，所述利用多模态组合函数和logistic回归函数对数字人语义交互网络和数字人人形交互网络进行多模态组合，包括：
30、将所述语义-人形组合函数的输入与数字人语义交互网络的输出相连接，将所述语义-人形组合函数的输出与数字人人形交互网络的输入通过logistic回归函数相连接；
31、将所述人形-语义组合函数的输入与数字人人形交互网络的输出相连接，将所述人形-语义组合函数的输出与数字人语义交互网络的输入通过logistic回归函数相连接；
32、将数字人语义交互网络的输出与数字人人形交互网络通过logistic回归函数相连接，以达到数字人语义交互网络和数字人人形交互网络的多模态组合，得到数字人云互动网络。
33、作为本专利技术的一种优选方案，所述数字人云互动网络为：
34、gfh=logistic{gan1[logistic(finter,f),g], gan2[logistic(hinter,h),g]}；
35、式中，gfh为数字人云互动网络预测出的表征数字人人形与云游戏场景融合结果，logistic为logistic回归函数，hinter为第一互动预测结果的语义素材，h为语义素材，f为人形素材，finter为第二互动预测结果的人形素材，gh为第二互动预测结果，g为云游戏场景素材，gan1为第一生成对抗网络，gan2为第二生成对抗网络。作为本专利技术的一种优选方案，所述数字人人形交互网络和数字人语义交互网络的损失函数相同。
36、在本专利技术的第二方面，本专利技术提供了一种基于虚拟数字人的云互动装置，应用于所述的一种基于虚拟数字人的云互动方法，云视频生成装置包括：
37、数据获取单元，用于获取用于生成虚拟数字人的人形素材和语义素材，以及用于虚拟数字人互动的云游戏场景素材；
38、深度学习单元，用于利用第一神经本文档来自技高网...
【技术保护点】
1.一种基于虚拟数字人的云互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人人形交互网络的构建方法包括：
3.根据权利要求2所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人语义交互网络的构建方法包括：
4.根据权利要求3所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人云互动网络的构建方法包括：
5.根据权利要求4所述的一种基于虚拟数字人的云互动方法，其特征在于：所述多模态组合函数的设置方法包括：
6.根据权利要求5所述的一种基于虚拟数字人的云互动方法，其特征在于：所述利用多模态组合函数和Logistic回归函数对数字人语义交互网络和数字人人形交互网络进行多模态组合，包括：
7.根据权利要求6所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人云互动网络为：
8.根据权利要求7所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人人形交互网络和数字人语义交互网络的损失函数相同。
9.一
10.一种计算机设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于虚拟数字人的云互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人人形交互网络的构建方法包括：
3.根据权利要求2所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人语义交互网络的构建方法包括：
4.根据权利要求3所述的一种基于虚拟数字人的云互动方法，其特征在于：所述数字人云互动网络的构建方法包括：
5.根据权利要求4所述的一种基于虚拟数字人的云互动方法，其特征在于：所述多模态组合函数的设置方法包括：
6.根据权利要求5所述的一种基于虚拟数...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳威尔视觉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。