本公开涉及一种虚拟机器人的互动方法，装置，存储介质及电子设备。该方法包括：获取用户输入的与所述虚拟机器人进行交互的互动信息；将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。本公开实施例用于实现虚拟机器人与用户之间的互动，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。
【技术实现步骤摘要】
本公开涉及人机交互领域，具体地，涉及一种虚拟机器人的互动方法，装置，存储介质及电子设备。
技术介绍
1、目前，虚拟偶像已经成为娱乐领域的新亮点，逐渐受到人们的喜爱和追捧。但是，传统的虚拟偶像主要是基于系统预先设置好的人物角色，剧情发展，交互方式等元素预先实现的，无法与观众产生实时互动，灵活性和适用性较低。
2、随着网络直播行业的发展，用户可以在网络直播平台上观看直播，通过文字与直播进行互动，还可以将虚拟奖品赠送给主播，现有的虚拟偶像技术无法应用于网络直播平台实现直播，直播间传统的辅助机器人功能也比较简单，主要以语音为主，不能满足人的情感交流、动作交流体验。
技术实现思路
1、本公开的主要目的是提供一种虚拟机器人的互动方法，装置，存储介质及电子设备，以解决上述相关技术中存在的问题。
2、为了实现上述目的，本公开实施例第一方面提供一种虚拟机器人的互动方法，包括：
3、获取用户输入的与所述虚拟机器人进行交互的互动信息；
4、将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；
5、根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。
6、可选地，还包括训练所述控制模型的方法，包括：
7、从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；
8、将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。
9、可选地，所述从视频直播平台获取主播针对用户输入的互动信息的行为反应信息包括：
10、根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和/或
11、根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和/或
12、根据语音分析模块从主播音频中提取主播的语音信息。
13、可选地，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；
14、所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练，包括：
15、将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。
16、可选地，在所述获取用户输入的与所述虚拟机器人进行交互的互动信息之前，所述方法还包括：
17、获取用户输入的偏好信息；
18、从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；
19、所述将所述互动信息输入所述虚拟机器人的控制模型，包括：
20、将所述互动信息输入所述目标控制模型；
21、所述根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制，包括：
22、根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。
23、本公开实施例第二方面提供一种虚拟机器人的互动装置，包括：
24、第一获取模块，用于获取用户输入的与所述虚拟机器人进行交互的互动信息；
25、模型输入模块，用于将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；
26、控制模块，用于根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。
27、可选地，还包括：
28、第二获取模块，用于从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；
29、模型训练模块，用于将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。
30、可选地，所述第二获取模块，包括：
31、第一获取子模块，用于根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和/或
32、第二获取子模块，用于根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和/或
33、第三获取子模块，用于根据语音分析模块从主播音频中提取主播的语音信息。
34、可选地，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；
35、所述模型训练模块用于：
36、将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。
37、可选地，所述装置还包括：
38、第三获取模块，用于获取用户输入的偏好信息；
39、确定模块，用于从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；
40、所述模型输入模块用于，将所述互动信息输入所述目标控制模型；
41、所述控制模块用于，根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。
42、本公开实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
43、本公开实施例第四方面提供一种电子设备，包括：
44、存储器，其上存储有计算机程序；
45、处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
46、采用上述技术方案，至少能够达到如下技术效果：利用视频直播平台的历史数据，包括：用户输入的互动信息以及主播针对该互动信息的行为反应信息，作为模型训练样本训练得到控制模型，该控制模型的输出为控制虚拟机器人行为的控制信息。这样，基于该控制模型，通过实时采集用户输入的与虚拟机器人交互的互动信息，即可实现对虚拟机器人实时的与用户的互动反应控制，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。
47、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...
【技术保护点】
1.一种虚拟机器人的互动方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
5.根据权利要求1所述的方法，其特征在于，用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息。
6.根据权利要求1所述的方法，其特征在于，所述获取用户输入的偏好信息，从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型，包括：
7.根据权利要求2至4中任一项所述的方法，其特征在于，文本信息和礼物图片作为深度学习网络的输入样本，根据人体姿态解析模块和人脸表情分析模块从主播视频提取到的肢体动作信息以及面部表情信息，以及根据语音分析模块从主播音频中提取到的语音信息作为深度学习网络标记的输出样本。
8.根据权利要求1所述的方法，其特征在于，所述根据所述目标控制模型输出的所述行为控制信息，对所述虚拟机器人进行行为控制，包括：
9.一种虚拟机器人的互动装置，其特征在于，包括：
10.根据权利要求9所述的装置，其特征在于，所述第二获取模块，包括：
11.一种电子设备，其特征在于，包括：
...
【技术特征摘要】
1.一种虚拟机器人的互动方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述获取主播针对该互动信息的行为反应信息，包括：
5.根据权利要求1所述的方法，其特征在于，用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息。
6.根据权利要求1所述的方法，其特征在于，所述获取用户输入的偏好信息，从所述虚拟机器人...
【专利技术属性】
技术研发人员：刘兆祥，廉士国，王宁，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。