一种可捕捉人体动作和表情的VR眼镜及其捕捉方法技术

本发明专利技术公开了一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框、镜带、内置主机芯片、右下摄像头、左下摄像头、右后摄像头、左后摄像头和显示屏，所述右后摄像头和左后摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片，所述右下摄像头和左下摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片。本发明专利技术当使用者佩戴该VR眼镜的时候，其安放在右下、左下、右后和左后的摄像头开启，摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像的相应关键点的运动，从而达到传递表情和肢体动作信息的作用。达到传递表情和肢体动作信息的作用。达到传递表情和肢体动作信息的作用。

【技术实现步骤摘要】
一种可捕捉人体动作和表情的VR眼镜及其捕捉方法


[0001]本专利技术涉及VR眼镜
，具体为一种可捕捉人体动作和表情的VR眼镜及其捕捉方法。

技术介绍

[0002]当人们使用VR(虚拟现实)眼镜进行交流的时候，往往需要将自己的表情和肢体动作展现给对方。因为在真实的场景中，人们在交谈的时候，通常是需要配合有面部表情、脸部器官活动信息、肢体动作等信息进行交流，才能够更加真实地表达出所要传递的真实信息，普通VR眼镜一般不具备传递面部表情和肢体动作的功能。因此市场急需要研制一种新型的可捕捉人体动作和表情的VR眼镜及其捕捉方法来解决上述问题。

技术实现思路

[0003]本专利技术的目的在于提供一种可捕捉人体动作和表情的VR眼镜及其捕捉方法，以解决上述
技术介绍
中提出的普通VR眼镜一般不具备传递面部表情和肢体动作的功能的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框、镜带、内置主机芯片、右下摄像头、左下摄像头、右后摄像头、左后摄像头和显示屏，所述右后摄像头和左后摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片，所述右下摄像头和左下摄像头均与内置主机芯片相连，将捕捉到的视频信号传输到内置主机芯片。
[0005]作为优选，右下摄像头、左下摄像头、右后摄像头和左后摄像头的摄像头采用近红外摄像头，但并不排除使用可见光摄像头或红外摄像头的选择。
[0006]作为优选，捕捉人脸和人体的关键点的算法，采用模板匹配的跟踪算法进行捕捉。
[0007]作为优选，左右眉毛关键点数量是6个，但并不排除使用其它的数量。
[0008]作为优选，左右眼睛关键点数量是10个，但并不排除使用其它的数量。
[0009]作为优选，左右鼻部关键点数量是3个，但并不排除使用其它的数量。
[0010]作为优选，左右嘴部关键点数量是4个，但并不排除使用其它的数量。
[0011]作为优选，左右下巴关键点数量是7个，但并不排除使用其它的数量。
[0012]作为优选，左右肩部关键点数量是2个，但并不排除使用其它的数量。
[0013]作为优选，左右手部关键点数量是14个，但并不排除使用其它的数量。
[0014]作为优选，左右胸胯关键点数量是3个，但并不排除使用其它的数量。
[0015]作为优选，左右腿部关键点数量是4个，但并不排除使用其它的数量。
[0016]作为优选，左右脚部关键点数量是4个，但并不排除使用其它的数量。
[0017]本专利技术的另外一个目的在于提供一种可捕捉人体动作和表情的捕捉方法，所述摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，其算法如下列步骤：
[0018]S1事先根据人体数据库中100人的三维数据，建立一个人脸和人体模型的平均的
三维模型；S2使用者可以自行输入和修改人脸和人体模型的参数(如身高、肩宽、嘴角位置等等)，得到一个三维的人脸和人体模型；S3将使用者的人脸图像和人体图像贴图在该三维模型上，此即为所述的虚拟人像模型；S4该虚拟人像模型的左右眉毛和眼睛关键点(41)到左右脚部关键点(49)所述的57个关键点的位置随即固定下来；S5当使用者在使用本专利技术的VR眼镜的时候，上述的摄像头开始工作，实时捕捉使用者的脸部关键点和肢体关键点共57个关键点位置；S6若部分关键点被遮挡的时候，则由虚拟人像模型的关系进行预测填补；例如，左嘴角关键点被鼻子图像挡住，根据虚拟人像模型中实现固定的鼻字关键点和左嘴角关键点的坐标关系，推测被遮挡的左嘴角关键点的位置，以此填补，其它同理；S7通过跟踪这57个关键点的运动位置，来驱动相应虚拟人像模型中的关键点的运动，并以此带动虚拟人像模型的人脸和人体的贴图的形变，作为优选可采用像素样本插值法进行形变。
[0019]与现有技术相比，本专利技术的有益效果是：
[0020]当使用者在使用本VR眼镜的时候，其安放在右下、左下、右后和左后的摄像头开启，摄像头实时捕捉使用者的脸部关键点和肢体关键点，并通过跟踪这些关键点的运动，来驱动虚拟人像模型的相应关键点的运动，从而达到传递表情和肢体动作信息的作用。
附图说明
[0021]图1为本专利技术的VR眼镜前视图；
[0022]图2为本专利技术的VR眼镜后视图；
[0023]图3为本专利技术的工作状态图；
[0024]图4为本专利技术的关键点分布图；
[0025]图5为本专利技术的人脸关键点驱动图；
[0026]图6为本专利技术的人体关键点驱动图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0028]请参阅图1
‑
6，本专利技术提供的一种实施例：一种可捕捉人体动作和表情的VR眼镜，包含以下模块：镜框11、镜带12、内置主机芯片13、右下摄像头A1、左下摄像头A2、右后摄像头B1、左后摄像头B2和显示屏14，右后摄像头B1和左后摄像头B2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右下摄像头A1和左下摄像头A2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13。
[0029]进一步，右下摄像头A1和左下摄像头A2，分别位于镜框11下面的右边和左边，且镜头朝下。
[0030]进一步，右后摄像头B1、左后摄像头B2，分别位于镜框11后部的右边和左边，且镜头朝后。
[0031]进一步，右后摄像头B1和左后摄像头B2，其捕捉到的视频信号为人体脸部关键点51的位置信息，包括：左右眉毛和眼睛关键点41、左右鼻部关键点42、左右嘴部关键点43、左右下巴关键点44。
[0032]进一步，所捕捉的人体脸部关键点51的运动，用于驱动人脸图像关键点52的运动。
[0033]进一步，右下摄像头A1和左下摄像头A2，其捕捉到的视频信号为人体肢体关键点61的位置信息，包括：左右肩部关键点45、左右手部关键点46、左右胸胯关键点47、左右腿部关键点48和左右脚部关键点49。
[0034]进一步，所捕捉的人体肢体关键点61的运动，用于驱动人体图像关键点62的运动。
[0035]工作原理：使用时，右后摄像头B1和左后摄像头B2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右下摄像头A1和左下摄像头A2均与内置主机芯片13相连，将捕捉到的视频信号传输到内置主机芯片13，右后摄像头B1和左后摄像头B2，其捕捉到的视频信号为人体脸部关键点51的位置信息，包括：左右眉毛和眼睛关键点41、左右鼻部关键点42、左右嘴部关键点43、左右下巴关键点44，所捕捉的人体脸部关键点51的运动，用于驱动人脸图像关键点52的运动，右下摄像头A1和左下摄像头A2，其捕捉到的视频信号为人体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可捕捉人体动作和表情的VR眼镜，其特征在于包含以下模块：镜框(11)、镜带(12)、内置主机芯片(13)、右下摄像头(A1)、左下摄像头(A2)、右后摄像头(B1)、左后摄像头(B2)和显示屏(14)，所述右后摄像头(B1)和左后摄像头(B2)均与内置主机芯片(13)相连，将捕捉到的视频信号传输到内置主机芯片(13)，所述右下摄像头(A1)和左下摄像头(A2)均与内置主机芯片(13)相连，将捕捉到的视频信号传输到内置主机芯片(13)。2.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右下摄像头(A1)和左下摄像头(A2)，分别位于镜框(11)下面的右边和左边，且镜头朝下。3.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右后摄像头(B1)、左后摄像头(B2)，分别位于镜框(11)后部的右边和左边，且镜头朝后。4.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右后摄像头(B1)和左后摄像头(B2)，其捕捉到的视频信号为人体脸部关键点(51)的位置信息，包括：左右眉毛和眼睛关键点(41)、左右鼻部关键点(42)、左右嘴部关键点(43)、左右下巴关键点(44)。5.根据权利要求4所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所捕捉的所述人体脸部关键点(51)的运动，用于驱动人脸图像关键点(52)的运动。6.根据权利要求1所述的一种可捕捉人体动作和表情的VR眼镜，其特征在于：所述右下摄像头(A1)和左下摄像头(A2)，其捕捉到的视频信号为人体肢体关键点(61)的位置信息...

【专利技术属性】
技术研发人员：连惠城，
申请(专利权)人：上海炉火健康管理中心，
类型：发明
国别省市：