一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统技术方案

摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一。

A VR 3D image, plane image capture and gesture capture system

Camera group, VR glasses, which is characterized in that: provide a heads array camera group to capture the entire facial images, VR glasses due to cover and close to the face, close to the facial region (18) images are not available, the corresponding position from the previous facial photographs provide added VR glasses; (18) the area close to the face facial contact parts color is green or blue two choose one.

【技术实现步骤摘要】
一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统
本专利技术涉及一种虚拟现实设备系统，具体地说涉及一种通过vr眼镜完成远程可视化交互的系统。
技术介绍
vr虚拟现实设备的热卖由此诞生了一个问题步入两个人如何用vr设备通过图像实施互动、互传，问题在于vr设备通常设置面部导致遮挡面部难以通过外部摄像头捕捉人的面部整体图像并如何同时完成交互互动。专利技术目的在于vr设备通常设置面部导致遮挡面部难以通过外部摄像头捕捉人的面部整体图像，本专利技术致力于解决这一问题。一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌、眼睛、瞳孔、嘴巴特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像，后者是提供的正面头像图像；从后者图像中裁切前者两条线确定二者之间的区域（18）中对应在后者图像的局部区域图像，并将其补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜的内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）紧邻边缘（5）处设置摄像头c（4）摄像头d（12），摄像头c（4）、摄像头d（12）沿左右间的中心点位置对称设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）紧邻边缘（14）处设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；以上设备根据摄像头设置在面部位置对应，拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，具体是：摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，红外摄像头b（3）红外摄像头b1（8）负责，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，摄像头f（23）捕获额头图像，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，并将摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，裁切出的对应此被覆盖部位的面部区域图像，vr眼镜贴合面部的内部边缘线（16）以内的由摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，在拼合摄像头f（23）捕获额头图像而将以上局部动态图像拼合一体后合成完整面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度即位置变化捕获传感器；最终显示到vr眼镜左眼、右眼屏幕上或显示器上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部朝向前方，摄像头f（23）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头f（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头c（4）摄像头d（12），摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头，并可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄的图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头c（4）摄像头d（12）同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；第二方案一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中的前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）的边缘（5）上设置摄像头n（19），摄像头n（19）、沿左右间的中心点位置设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）边缘（14）上设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像本文档来自技高网...

【技术保护点】
一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌、眼睛、瞳孔、嘴巴特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像，后者是提供的正面头像图像；从后者图像中裁切前者两条线确定二者之间的区域（18）中对应在后者图像的局部区域图像，并将其补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜的内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）紧邻边缘（5）处设置摄像头c（4）摄像头d（12），摄像头c（4）、摄像头d（12）沿左右间的中心点位置对称设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）紧邻边缘（14）处设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；以上设备根据摄像头设置在面部位置对应，拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，具体是：摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，红外摄像头b（3）红外摄像头b1（8）负责，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，摄像头f（23）捕获额头图像，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，并将摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，裁切出的对应此被覆盖部位的面部区域图像，vr眼镜贴合面部的内部边缘线（16）以内的由摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，在拼合摄像头f（23）捕获额头图像而将以上局部动态图像拼合一体后合成完整面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度即位置变化捕获传感器；最终显示到vr眼镜左眼、右眼屏幕上或显示器上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部朝向前方，摄像头f（23）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头f（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头c（4）摄像头d（12），摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头，并可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄的图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头c（4）摄像头d（12）同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；第二方案...

【技术特征摘要】
2016.06.12 CN 2016104080199;2016.06.12 CN 201610401.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌、眼睛、瞳孔、嘴巴特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像，后者是提供的正面头像图像；从后者图像中裁切前者两条线确定二者之间的区域（18）中对应在后者图像的局部区域图像，并将其补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜的内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）紧邻边缘（5）处设置摄像头c（4）摄像头d（12），摄像头c（4）、摄像头d（12）沿左右间的中心点位置对称设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）紧邻边缘（14）处设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；以上设备根据摄像头设置在面部位置对应，拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，具体是：摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，红外摄像头b（3）红外摄像头b1（8）负责，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，摄像头f（23）捕获额头图像，摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，并将摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，裁切出的对应此被覆盖部位的面部区域图像，vr眼镜贴合面部的内部边缘线（16）以内的由摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，在拼合摄像头f（23）捕获额头图像而将以上局部动态图像拼合一体后合成完整面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度即位置变化捕获传感器；最终显示到vr眼镜左眼、右眼屏幕上或显示器上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部朝向前方，摄像头f（23）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头f（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头c（4）摄像头d（12），摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头，并可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄的图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头c（4）摄像头d（12）同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；第二方案2.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中的前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）的边缘（5）上设置摄像头n（19），摄像头n（19）、沿左右间的中心点位置设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）边缘（14）上设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓的补充的静态图像，摄像头n（19）拍摄的头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，摄像头f（23）拍摄捕获额头图像，将以上图像按照五官对应位置拼合生成完整的面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度传感器以及位置变化捕获传感器；当欲获取非正视前方姿势面部3d图像时，根据拼合摄像头捕获的面部图像通过计算处理生成局部的3d面部图像，包括：两颊、额头、鼻子这些在说话过程中运动较少的区域，通过3d变化角度的鼻子及两颊、额头，与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与双唇嘴巴、眼睛对应的通过计算机计算处理得到的动态实时3d图像结合；当欲获取头部正视前方姿势的面部图像时，不对图像进行图像的3d计算，而是通过以上摄像头根据设置的位置对应拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，在计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像并最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）所拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部面部朝向前方，摄像头f（23）可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头m（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头n（19）可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头n（19）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头n（19）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；第三方案3.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；vr眼镜下侧边框（11）的边缘（5）上设置3d摄像头与可见光摄像头的组合体（20），3d摄像头与可见光摄像头的组合体（20）、沿左右间的中心点位置设置，捕获图像方向朝向面部；vr眼镜上侧边框（15）边缘（14）上设3d摄像头与可见光摄像头的组合体b（71），上侧边框（15）边缘（14）上面沿左右对称点处设置3d摄像头与可见光摄像头的组合体b（72），其捕获图像方向均朝向面部；其中的3d摄像头捕获面部3d轮廓结构，根据3d轮廓将可见光图像合成3d图像；根据3d摄像头与可见光摄像头的组合体b（71）拍摄的图像以及3d摄像头与可见光摄像头的组合体（20）拍摄的图像以及由摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成立体的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，由摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位立体可视图像，以上图像均为3d图像，将以上3d图像按照对应拍摄面部位置重新拼合完整面部图像，当欲获取正视及非正视前方姿势面部3d图像时，将以上3d图像按照对应拍摄面部位置重新拼合面部图像通过计算处理生成局部的不同视角的3d面部图像，包括：两颊、额头、鼻子、嘴巴、下巴这些没被vr眼镜覆盖区域，之后与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）中的覆盖区域生成的补充图像对应通过计算机进行3d计算处理得到的该区域动态实时3d图像，将以上部位图像对应位置拼合一体图得到完整面部3d图像，最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；利用3d摄像头与可见光摄像头的组合体（20）其上的3d摄像头可以捕获到口部的立体变化，利用3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；此外，3d摄像头与可见光摄像头的组合体（20）与3d摄像头与可见光摄像头的组合体b（71）的3d摄像头可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指；方案四4.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）面部接触部件（121）的颜色是绿色或蓝色二者选其一；上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括：下颌、眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，以上两个图像指的是摄像头阵列组捕获并拼接合成的的面部图像以及之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；其中左眼摄像头A(104)拍摄图像与左眼摄像头B(126)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，我们称它为左眼面部图像，该图像在vr眼镜对应左眼的屏幕中显示，该图像可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；其中右眼...

【专利技术属性】
技术研发人员：张翔宇，
申请(专利权)人：张翔宇，
类型：发明
国别省市：浙江,33