【技术实现步骤摘要】
本说明书涉及，尤其涉及一种获取基于机器视觉的虚拟数字主讲人的方法。
技术介绍
1、在当今数字化时代，人工智能和虚拟现实技术的迅猛发展正在推动教育领域的革新。传统教学或会议场景中，需要主讲人与听讲人之间进行面对面的交流。而随着科技的不断进步，远程会议与教学成为了一种越来越普遍的形式。但主讲人与听讲人的互动体验相对有限，难以实现真实面对面场景交流体验。
2、利用基于视觉的虚拟数字主讲人还原主讲人场景，给听讲人真实交流场景的体验。
3、依专利技术人所知，现有基于语音获取嘴型特征以及通过嘴型区域图像和目标人物的非嘴型区域图像信息，生成虚拟人脸的方案。该方案只是通过语音和人脸图像信息生成虚拟的人脸，没有获取相关的人脸信息，不能够准确捕捉老师的面部表情变化，此外只关注了人脸面部变化，没有关注虚拟人的姿态动作变化等信息，使得虚拟数字主讲人不够逼真。
技术实现思路
1、为克服相关技术中存在的问题，本说明书提供了一种获取基于机器视觉的虚拟数字主讲人的方法。基于机器视觉跟随虚拟数字主讲人面部表情以及嘴型以及同步回答问题的方案，使得虚拟数字主讲人在使用场景内的形成更为逼真，互动效果更好。
2、根据本说明书实施例提供了一种获取基于机器视觉的虚拟数字主讲人的方法包括：
3、获取包含主讲人全身信息的视频流；
4、基于视频流获取主讲人的人体信息和人脸信息；
5、基于主讲人的人脸信息识别主讲人嘴型信息；
6、构建虚拟数字主讲人，虚
7、优选的，获取提问人的音频信息；
8、根据音频信息生成音频答案；
9、虚拟数字主讲人与音频答案进行对帧融合。
10、优选的，基于主讲人的人脸信息识别主讲人的人脸信息包括：
11、通过视频流获取人形区域信息；
12、基于获取的人形区域信息识别人脸区域；
13、通过预存的主讲人的人脸信息数据库基于人脸分类模型识别主讲人的人脸区域，并按帧的顺序进行存储；
14、对按帧存储的人脸区域提取逐帧的人脸关键点。
15、优选的，基于主讲人的人脸信息识别主讲人嘴型信息包括：
16、通过主讲人的人脸关键点提取逐帧的嘴部关键点信息；
17、按帧利用嘴巴分类模型通过嘴巴关键点检测嘴巴类型。
18、优选的，获取包括主讲人的人脸信息以及嘴型信息的虚拟数字主讲人包括：
19、构建一个虚拟数字主讲人形象；
20、将主讲人的人脸信息以及嘴型信息与虚拟数字主讲人归一化到同一坐标比例；
21、将归一化后的人脸信息以及嘴型信息一一关联到归一化后的虚拟数字主讲人的人脸信息以及嘴型信息。
22、优选的，基于主讲人的人体信息还识别身姿关键点信息：
23、通过获取的主讲人的人体关键点获取逐帧的躯干关键点信息。
24、优选的，主讲数字虚拟人还包括身姿关键点信息；
25、将躯干关键点信息与虚拟数字主讲人归一化到同一坐标比例；
26、将归一化后的躯干关键点信息一一关联到归一化后的虚拟数字主讲人的躯干关键点。
27、优选的，基于主讲人的人体信息还包括识别手部关键点信息：
28、通过主讲人的人脸关键点信息关联对应的人形区域信息；
29、通过人形区域提取人体关键点；
30、通过人体关键点获取逐帧的手部关键点信息。
31、优选的，获取包括主讲人的人脸变化关键点以及嘴型信息虚拟数字主讲人包括：
32、按帧比对获取的主讲人逐帧人脸信息获取主讲人面部变化关键点信息；
33、将主讲人的面部变化关键点信息以及逐帧的嘴型信息与主讲数字虚拟人归一化到同一坐标比例；
34、将归一化后的主讲人的人脸变化关键点信息以及嘴型信息与归一化后的虚拟数字主讲人的人脸信息以及嘴型信息逐帧关联。
35、优选的，还包括获取身姿变化关键点信息的虚拟数字主讲人，包括：
36、按帧对比主讲人的躯干关键点信息获取身姿变化关键点信息；
37、将主讲人的身姿变化关键点信息与虚拟数字主讲人归一化到同一坐标比例；
38、将归一化后的主讲人身姿变化关键点信息与归一化后的虚拟数字主讲人的躯干关键点进行逐帧关联。
39、优选的，还包括获取手部变化关键点信息的虚拟数字主讲人，包括：
40、按帧对比主讲人的人体关键点获取手部关键点信息；
41、通过逐帧比对手部关键点信息获取到手部变化关键点信息；
42、将主讲人的手部变化关键点信息与虚拟数字主讲人归一化到同一坐标比例；
43、将归一化后的主讲人手部变化关键点信息与归一化后的虚拟数字主讲人的手部关键点进行逐帧关联。
44、优选的，根据音频信息生成音频答案至少包括：
45、依据提问人使用的语言对提问人的音频信息进行预处理；
46、将预处理后提问人音频信息转化为对应的文本数据；
47、通过生成式对话模型生成对应问题的答案文本；
48、将答案文本转化为音频答案。
49、本说明书的实施例提供的技术方案可以包括以下有益效果：
50、本说明书实施例中基于机器视觉跟随虚拟数字主讲人面部表情以及嘴型以及同步回答问题的方案，使得虚拟数字主讲人在使用场景内的形成更为逼真，互动效果更好。
51、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
本文档来自技高网...【技术保护点】
1.一种获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，包括：
2.根据权利要求1所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，
3.根据权利要求2所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人脸信息识别主讲人的人脸信息包括：
4.根据权利要求3所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人脸信息识别主讲人嘴型信息包括：
5.根据权利要求4所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，获取包括主讲人的人脸信息以及嘴型信息的虚拟数字主讲人包括：
6.根据权利要求5所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人体信息还识别身姿关键点信息：
7.根据权利要求6所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，所述主讲数字虚拟人还包括身姿关键点信息；
8.根据权利要求7所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人体信息还包括识别手部关键点信息：>
9.根据权利要求8所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，获取包括主讲人的人脸变化关键点以及嘴型信息虚拟数字主讲人包括：按帧比对获取的主讲人逐帧人脸信息获取主讲人的人脸变化关键点信息；
10.根据权利要求9所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，还包括获取身姿变化关键点信息的虚拟数字主讲人，包括：
11.根据权利要求10所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，还包括获取手部变化关键点信息的虚拟数字主讲人，包括：
12.根据权利要求2或5或7或9或10或11所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，
...【技术特征摘要】
1.一种获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，包括：
2.根据权利要求1所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，
3.根据权利要求2所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人脸信息识别主讲人的人脸信息包括：
4.根据权利要求3所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人脸信息识别主讲人嘴型信息包括：
5.根据权利要求4所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，获取包括主讲人的人脸信息以及嘴型信息的虚拟数字主讲人包括：
6.根据权利要求5所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于，基于所述主讲人的人体信息还识别身姿关键点信息：
7.根据权利要求6所述的获取基于机器视觉的虚拟数字主讲人的方法，其特征在于...
【专利技术属性】
技术研发人员：吴杰，
申请(专利权)人：新华三智能终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。