头戴式显示设备的摄像控制方法、装置及头戴式显示设备制造方法及图纸

本公开涉及一种头戴式显示设备的摄像控制方法、装置、头戴式显示设备及计算机可读存储介质，该头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取目标区域的二维图像的至少一个第二相机，第二相机根据目标区域中预设区域的图像自动调整自身的摄像参数；该方法包括：在确定第一相机摄取的三维图像中存在至少一个手势的情况下，根据至少一个手势在三维图像中的第一位置以及预设的第一相机和第二相机的相对位置参数，确定至少一个手势在第二相机拍摄的二维图像中对应的第二位置；在预设区域与至少部分第二位置对应的图像区域重叠的情况下，若重叠区域占预设区域比例大于或等于预设比例阈值，控制第二相机停止对摄像参数的自动调整。

【技术实现步骤摘要】
头戴式显示设备的摄像控制方法、装置及头戴式显示设备
本公开实施例涉及虚拟现实
，更具体地，涉及一种头戴式显示设备的摄像控制方法、装置、头戴式显示设备及计算机可读存储介质。
技术介绍
头戴式显示设备(HeadMountedDisplay，HMD)是一种可以穿戴在用户头部的显示设备，能够实现虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)和混合现实(MixedReality，MR)等不同效果。头戴式显示设备在使用时会使用户的头部或者眼睛会处于封闭环境，以使用户能够沉浸在虚拟环境中。而为了展示AR和MR中的现实内容，HMD上还会安装至少一个彩色相机，以便通过至少一个彩色相机摄取现实世界中的现实图像并将其投影至人眼，从而实现AR和MR的效果。目前，彩色相机能够根据其摄取的感兴趣区域(regionofinterest，ROI)的图像来自动调整自身的摄像参数(例如对焦参数、曝光参数)，以此来摄取清晰的现实图像。实际情况中，用户在使用HMD时还会与当前看到的虚拟内容或现实内容进行频繁的手势交互，手势即用户通过灵活控制手指上的各关节做出的手的动作。在此情况下，用户的手势进入ROI后，彩色相机可能会以手势为对象来调整自身的摄像参数，导致彩色相机摄取的现实图像不清晰(例如以手势为对象调整自身的对焦参数，则无法对现实图像进行正确对焦)，影响彩色相机成像质量，导致AR和MR的实现效果较差。
技术实现思路
本公开实施例的一个目的是提供一种头戴式显示设备的摄像控制的新的技术方案。根据本公开的第一方面，提供了一种头戴式显示设备的摄像控制方法，头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取目标区域的二维图像的至少一个第二相机，第二相机根据摄取的目标区域中预设区域的图像自动调整自身的摄像参数；该方法包括：获取第一相机在当前时间拍摄的三维图像；在根据三维图像确定目标区域中存在至少一个手势的情况下，根据至少一个手势在三维图像中的第一位置以及预设的第一相机和第二相机的相对位置参数，确定至少一个手势在至少一个第二相机在当前时间拍摄的二维图像中对应的第二位置；在预设区域与至少部分第二位置对应的图像区域重叠的情况下，获得重叠区域占预设区域的比例；在比例大于或等于预设比例阈值的情况下，控制第二相机停止对摄像参数的自动调整。可选地，摄像参数包括以下一个或多个：对焦参数以及曝光参数。可选地，预设比例阈值为0.2。可选地，在根据三维图像确定所述目标区域中存在至少一个手势之前，该方法还包括：将三维图像输入预设的用于识别手势的手势分割模型；在手势分割模型输出至少一个手势的情况下，确定目标区域中存在至少一个手势。可选地，相对位置参数包括：相对旋转参数和相对位移参数；根据至少一个手势在三维图像中的第一位置以及预设的第一相机和第二相机的相对位置参数，确定至少一个手势在至少一个第二相机在当前时间拍摄的二维图像中对应的第二位置，包括：根据相对旋转参数将第一位置对应的参数旋转对应的旋转角度，得到第一中间位置参数；根据相对位移参数对第一中间位置参数对应的位置进行平移，得到第二位置对应的参数；根据第二位置对应的参数确定手势在二维图像中对应的第二位置。可选地，在根据三维图像确定目标区域中存在至少一个手势的情况下，该方法还包括：根据手势对应的控制指令控制头戴式显示设备。可选地，至少一个第二相机包括两个第二相机，两个第二相机分别设置在两个人眼位置处，且每个第二相机的摄影参数相同。根据本公开的第二方面，还提供了一种头戴式显示设备的摄像控制装置，头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取目标区域的二维图像的至少一个第二相机，第二相机根据摄取的目标区域中预设区域的图像自动调整自身的摄像参数；该装置包括：获取模块，用于获取第一相机在当前时间拍摄的三维图像；确定模块，用于在根据获取模块获取的三维图像确定目标区域中存在至少一个手势的情况下，根据至少一个手势在三维图像中的第一位置以及预设的第一相机和第二相机的相对位置参数，确定至少一个手势在至少一个第二相机在当前时间拍摄的二维图像中对应的第二位置；处理模块，用于在确定预设区域与至少部分确定模块确定的第二位置对应的图像区域重叠的情况下，获得重叠区域占预设区域的比例；控制模块，用于在处理模块获得的比例大于或等于预设比例阈值的情况下，控制第二相机停止对摄像参数的自动调整。可选地，摄像参数包括以下一个或多个：对焦参数以及曝光参数。可选地，预设比例阈值为0.2。可选地，该装置还包括：识别模块，用于将获取模块获取的三维图像输入预设的用于识别手势的手势分割模型；在手势分割模型输出至少一个手势的情况下，确定目标区域中存在至少一个手势。可选地，相对位置参数包括：相对旋转参数和相对位移参数；确定模块用于：根据相对旋转参数将第一位置对应的参数旋转对应的旋转角度，得到第一中间位置参数；根据相对位移参数对第一中间位置参数对应的位置进行平移，得到第二位置对应的参数；根据第二位置对应的参数确定手势在二维图像中对应的第二位置。可选地，该装置还包括：手势控制模块，用于在根据三维图像确定目标区域中存在至少一个手势的情况下，根据手势对应的控制指令控制头戴式显示设备。可选地，至少一个第二相机包括两个第二相机，两个第二相机分别设置在两个人眼位置处，且每个第二相机的摄影参数相同。根据本公开的第三方面，还提供了一种头戴式显示设备，包括用于摄取目标区域的三维图像的第一相机和用于摄取目标区域的二维图像的至少一个第二相机，第二相机根据摄取的目标区域中的预设区域的图像进行摄像参数的自动调整；该头戴式显示设备还包括存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序，以实现根据本公开第一方面的方法。根据本公开的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序在被处理器执行时实现根据本公开的第一方面的方法。本公开实施例的一个有益效果在于，头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取目标区域的二维图像的至少一个第二相机，第二相机根据摄取的目标区域中预设区域的图像自动调整自身的摄像参数，本公开实施例能够根据第一相机摄取的三维图像确定目标区域中是否存在至少一个手势，并根据第一相机和第二相机的相对位置参数，将该至少一个手势投影至第二相机拍摄的二维图像中，在预设区域与至少部分第二位置对应的图像区域重叠的情况下，获得重叠区域占预设区域的比例，并在该比例大于预设比例阈值的情况下控制第二相机停止对摄像参数的自动调整，从而解决用户与头戴式显示设备进行手势交互时，由于手势进入第二相机拍摄的二维图像(现实图像)，导致第二相机会以手势为对象自动调整自身的摄像参数，从而无法摄取到清晰的现实图像的问题。本申请能够在确定手势进入现实图像的情况下自动确定第二相机(彩色相机)是否会以手势为对象来调整自身的摄像参数，并在确定第二相机会以手势为对象自本文档来自技高网...

【技术保护点】
1.一种头戴式显示设备的摄像控制方法，其特征在于，所述头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取所述目标区域的二维图像的至少一个第二相机，所述第二相机根据摄取的所述目标区域中预设区域的图像自动调整自身的摄像参数；/n所述方法包括：/n获取所述第一相机在当前时间拍摄的三维图像；/n在根据所述三维图像确定所述目标区域中存在至少一个手势的情况下，根据所述至少一个手势在所述三维图像中的第一位置以及预设的所述第一相机和所述第二相机的相对位置参数，确定所述至少一个手势在所述至少一个第二相机在所述当前时间拍摄的二维图像中对应的第二位置；/n在所述预设区域与至少部分所述第二位置对应的图像区域重叠的情况下，获得重叠区域占所述预设区域的比例；/n在所述比例大于或等于预设比例阈值的情况下，控制所述第二相机停止对摄像参数的自动调整。/n

【技术特征摘要】
1.一种头戴式显示设备的摄像控制方法，其特征在于，所述头戴式显示设备包括用于摄取目标区域的三维图像的第一相机和用于摄取所述目标区域的二维图像的至少一个第二相机，所述第二相机根据摄取的所述目标区域中预设区域的图像自动调整自身的摄像参数；
所述方法包括：
获取所述第一相机在当前时间拍摄的三维图像；
在根据所述三维图像确定所述目标区域中存在至少一个手势的情况下，根据所述至少一个手势在所述三维图像中的第一位置以及预设的所述第一相机和所述第二相机的相对位置参数，确定所述至少一个手势在所述至少一个第二相机在所述当前时间拍摄的二维图像中对应的第二位置；
在所述预设区域与至少部分所述第二位置对应的图像区域重叠的情况下，获得重叠区域占所述预设区域的比例；
在所述比例大于或等于预设比例阈值的情况下，控制所述第二相机停止对摄像参数的自动调整。


2.根据权利要求1所述的方法，其特征在于，所述摄像参数包括以下一个或多个：对焦参数以及曝光参数。


3.根据权利要求1所述的方法，其特征在于，所述预设比例阈值为0.2。


4.根据权利要求1所述的方法，其特征在于，所述根据所述三维图像确定所述目标区域中存在至少一个手势之前，所述方法还包括：
将所述三维图像输入预设的用于识别所述手势的手势分割模型；
在所述手势分割模型输出至少一个手势的情况下，确定所述目标区域中存在至少一个手势。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述相对位置参数包括：相对旋转参数和相对位移参数；
所述根据所述至少一个手势在所述三维图像中的第一位置以及预设的所述第一相机和所述第二相机的相对位置参数，确定所述至少一个手势在所述至少一个第二相机在所述当前时间拍摄的二维图像中对应的第二位置，包括：
根据所述相对旋转参数将所述第一位置对应的参数旋转对应的旋转角度，得到第一中间位置参数；
根据所述相对位移参数对所述第一中间位置参数对应的位置进行平移，得到第二位置对应的参数；
根据所述第二位置对应的参数确定所述手势在二维图像中对应的第...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37