三维交互系统、方法、计算机设备及可读存储介质技术方案

本发明专利技术公开了一种三维交互系统、方法、计算机设备及可读存储介质，三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，处理设备分别与三维显示设备、二维输入设备、姿态传感器以及深度摄像设备通信连接，二维输入设备用以获取用户输入的二维操作数据，姿态传感器用于获取用户操作的位姿数据，深度摄像设备用于获取包含二维输入设备、姿态传感器以及用户的深度图像，处理设备基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到显示在三维显示设备上的三维操作数据。上述系统可以利用各种二维输入设备，将其输入转换为三维操作，有效提高三维交互操作的易用性和效率，并保持较低的成本。成本。成本。

【技术实现步骤摘要】
三维交互系统、方法、计算机设备及可读存储介质


[0001]本专利技术实施例涉及计算机技术，尤其涉及一种三维交互系统、方法、装置、计算机设备及存储介质。

技术介绍

[0002]近年来，三维设计的需求越来越大，但美术人员与建模人员一般习惯于使用传统的二维输入设备，这些二维输入设备在立体空间的交互操作中存在很多的不便。因此逐渐出现了一些专用的手势交互设备与手持式控制器设备，但隔空作画的方式没有力度反馈，容易使人疲劳，还不能够作为生产力工具使用。而带力反馈的三维控制器的价格又比较昂贵，难以大范围推广。

技术实现思路

[0003]基于此，针对上述技术问题，本专利技术提供一种三维交互系统、方法、计算机设备及可读存储介质，可以提高三维交互操作的易用性和效率，并保持较低成本。
[0004]第一方面，本专利技术实施例提供了一种三维交互系统，所述三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，所述处理设备分别与所述三维显示设备、所述二维输入设备、所述姿态传感器以及所述深度摄像设备通信连接，所述二维输入设备用以获取用户输入的二维操作数据，所述姿态传感器用于获取用户操作的位姿数据，所述深度摄像设备用于获取包含所述二维输入设备、所述姿态传感器以及用户的深度图像，所述处理设备基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到显示在所述三维显示设备上的三维操作数据。
[0005]上述三维交互系统，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
[0006]在其中一个实施例中，所述三维显示设备包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备中的至少一种；所述二维输入设备包括鼠标、键盘、触控板以及绘图板中的至少一种。
[0007]在其中一个实施例中，所述二维输入设备上设置有识别标记，所述处理设备在所述深度图像内通过所述识别标记对所述二维输入设备进行捕捉跟踪。
[0008]在其中一个实施例中，所述姿态传感器为正二十面体形状的九轴姿态传感器。
[0009]在其中一个实施例中，所述三维显示设备的数量为多个，所述三维操作分别以不同角度在多个所述三维显示设备上同步显示。
[0010]第二方面，本专利技术实施例提供了一种三维交互方法，应用于上述三维交互系统中，所述方法包括：
[0011]获取用户输入的二维操作数据以及用户操作的位姿数据；
[0012]获取包含二维输入设备、姿态传感器以及用户的深度图像；
[0013]基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据。
[0014]上述三维交互方法，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
[0015]在其中一个实施例中，所述基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据的步骤包括：
[0016]基于所述深度图像创建虚拟立体空间；
[0017]获取包含所述二维输入设备、所述姿态传感器以及用户的真实立体空间到所述虚拟立体空间的变换矩阵；
[0018]根据所述变换矩阵将所述位姿数据和/或所述二维操作数据映射至所述虚拟立体空间，以得到所述三维操作数据。
[0019]在其中一个实施例中，所述真实立体空间为所述三维显示设备所处的指定原点的物理空间的坐标系，所述虚拟立体空间为以所述三维显示设备中显示的立体内容使用的虚拟坐标系。
[0020]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的三维交互方法。
[0021]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的三维交互方法。
附图说明
[0022]图1为一个实施例中三维交互系统的结构示意图；
[0023]图2为一个实施例中三维交互方法的流程示意图；
[0024]图3为一个实施例中步骤基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据的流程示意图。
具体实施方式
[0025]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0026]图1为一个实施例中三维交互系统的结构示意图。如图1所示，在一个实施例中，一种三维交互系统10，包括三维显示设备110、二维输入设备120、姿态传感器130、深度摄像设备140以及处理设备150；其中，处理设备150分别与三维显示设备110、二维输入设备120、姿态传感器130以及深度摄像设备140通信连接，二维输入设备120用以获取用户输入的二维操作数据，姿态传感器130用于获取用户操作的位姿数据，深度摄像设备140用于获取包含二维输入设备120、姿态传感器130以及用户的深度图像，处理设备150基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到显示在三维显示设备110上的三维操作数据。
[0027]具体地，在三维交互系统10中，三维显示设备110为用户用于观看三维图像的设
备，三维显示设备110的具体种类和规格可以根据实际需求确定，例如三维显示设备110可以包括三维显示其或者三维眼镜等。三维显示设备110上一般显示有用户需要处理的三维模型等影像，用户需要进行的三维交互操作也会实时显示在三维显示设备110上。二维输入设备120为用户进行二维操作输入的设备，二维输入设备120的具体种类和规格可以根据实际需求确定，例如二维输入设备120可以包括鼠标、键盘等，用户通过二维输入设备120向三维交互系统10中输入常用的二维操作数据，例如光标移动、文字指令等。用户还可以通过将姿态传感器130输入位姿数据，位姿数据中具体包括用户移动可以通过移动姿态传感器130时的位置信息与姿态信息。三维交互系统10中还设置有深度摄像设备140，深度摄像设备140可以获取当前空间内的深度图像，深度图像中包含二维输入设备120、姿态传感器130以及用户。
[0028]处理设备150一般可以为计算机设备或其他处理芯片等，三维显示设备110、二维输入设备120、姿态传感器130以及深度摄像设备140均通过有线或无线的方式与处理设备150通信连接，二维输入设备120、姿态传感器130以及深度摄像设备140将各自获取到的数据发送给处理设备150，处理设备150对各类信息进行融合处理后生成用户所需要进行的三维操作数据，并在三维现实设备110上进行显示。
[0029]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维交互系统，其特征在于，所述三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，所述处理设备分别与所述三维显示设备、所述二维输入设备、所述姿态传感器以及所述深度摄像设备通信连接，所述二维输入设备用以获取用户输入的二维操作数据，所述姿态传感器用于获取用户操作的位姿数据，所述深度摄像设备用于获取包含所述二维输入设备、所述姿态传感器以及用户的深度图像，所述处理设备基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到显示在所述三维显示设备上的三维操作数据。2.根据权利要求1所述的三维交互系统，其特征在于，所述三维显示设备包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备中的至少一种；所述二维输入设备包括鼠标、键盘、触控板以及绘图板中的至少一种。3.根据权利要求1所述的三维交互系统，其特征在于，所述二维输入设备上设置有识别标记，所述处理设备在所述深度图像内通过所述识别标记对所述二维输入设备进行捕捉跟踪。4.根据权利要求1所述的三维交互系统，其特征在于，所述姿态传感器为正二十面体形状的九轴姿态传感器。5.根据权利要求1所述的三维交互系统，其特征在于，所述三维显示设备的数量为多个，所述三维操作分别以不同角度在多个所述三维显示设备上同步显示。6.一种三维交互...

【专利技术属性】
技术研发人员：廖鑫，张建伟，杨民，
申请(专利权)人：纵深视觉科技南京有限责任公司，
类型：发明
国别省市：