一种基于卷积神经网络的真3D手势交互方法技术

本发明专利技术提出一种基于卷积神经网络的真3D手势交互方法。所述方法采用LeapMotion获取手势数据，通过综合LeapMotion预测的手势指令和训练好的神经网络模型预测的手势指令，输出手势的语义，并与3D图像进行交互，利用逆光线追迹对交互后的3D图像进行渲染，在渲染的过程中采用空间包围盒技术实现对3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来。本发明专利技术在显示出真实3D场景的同时，能明显提高手势交互的准确度，提升用户的体验感。

【技术实现步骤摘要】
一种基于卷积神经网络的真3D手势交互方法一、
本专利技术属于交互
，更具体地说涉及一种基于卷积神经网络的真3D手势交互方法。二、
技术介绍
随着数字信息化时代及3D显示技术的蓬勃发展，传统展示平台因为展示形式的单一性和用户体验的匮乏性正逐渐被冷落，取而代之的是采用新兴媒体技术，更能吸引用户目光，实现用户交互体验的新型媒体展示平台。因此，人们迫切希望有一种3D图像交互技术支持人机互动交流。手势交互是一种符合人机工程学的交互方式，这种交互方式能够快捷自然地表达使用者的一些简单意图。但是现有的真3D展示平台，手势识别准确率不高，客户体验效果差，不具有实用性。三、
技术实现思路
本专利技术提出一种基于卷积神经网络的真3D手势交互方法。所述方法采用体感交互设备获取手势数据，将手势图像和对应的手势语义输入到设计好的卷积神经网络中进行训练。最终的手势语义通过综合LeapMotion输出的语义和训练好的卷积神经网络输出的语义得到修正后的手势语义，通过定义手势，如附图1所示，与3D图像进行交互，利用逆光线追迹对交互后的模型进行渲染，在渲染的过程中采用空间包围盒技术实现对3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来。所述方法在显示出真实3D场景的同时，给用户提供一种准确度更高的手势交互方式，提升用户的体验感。所述方法包括3D模型的手势交互与手势语义修正、3D模型的实时渲染、3D图像的实时显示三个过程。所述3D模型的手势交互过程中，通过五指曲张控制3D模型的缩放因子，交互手势如附图100所示，对三维仿射坐标进行缩放操作可以表示为：其中L、W、H分别表示3D模型最大包围盒的长、宽、高，S1、S2、S3分别表示L、W、H对应的缩放因子。通过平移手掌控制3D模型的移动，交互手势如附图102所示，对三维仿射坐标进行平移操作可以表示为：其中x、y、z表示3D模型质心的坐标，Tx、Ty、Tz表示x、y、z对应的偏移量。通过旋转食指可控制3D模型的旋转，交互手势如附图101所示，对三维仿射坐标进行绕x轴旋转，绕y轴旋转，绕z轴旋转操作可分别表示为：其中θ为掌心旋转角度的变化量，所述手势语义修正过程为，利用深度学习来训练手势集，其网络结构如附图2所示。通过捕捉交互过程中手势的图片，并贴上标签，构成一个包含M个训练样本的数据集，其中Ii表示第i张图像，yi＝{yi0,yi1,yi2,...,yi(c-1)}为对应的注释，如果样本被标注为C类别，则yic＝1,否则为0，给定一幅图像，我们可以得到一个预测的分量si＝{si0,si1,si2,...,si(c-1)}，并通过一个softmax函数计算对应的概率向量pi＝{pi0,pi1,pi2,...,pi(c-1)}，pic＝softmax(sic)，我们采用交叉熵作为目标的损失函数：所述网络模型采用端到端的方式用损失L进行训练，具体的说，我们利用实现标记好的数据集进行训练，使用Adam优化器进行优化，当误差L达到平稳状态时，表示网络已经训练完成，停止训练，接下来综合LeapMotion计算的概率向量，根据不同的指令定义不同的权重，计算最后得到预测值，所述过程如附图3所示。所述3D模型的实时渲染过程，首先输入透镜参数、集成成像3D显示器参数、3D模型。输入参数后通过建立三维场景组，建立虚拟相机，建立图像平面对输入数据进行预处理，判断在交互模块中是否检测到交互指令，若检测到交互指令，则改变集成光场视见模型的参数并进入渲染模块。渲染模块中，运用光线追迹和包围盒技术，实现了3D模型的实时渲染。所述3D图像的显示过程，将上述微图像阵列输入到集成成像3D显示器中可显示出具有立体视觉的真3D图像，其整体效果图如附图4所示，其中附图400为LeapMotion手势信息采集设备，附图401为实时信息处理装置，附图402为集成成像3D显示器。本专利技术解决的技术问题是基于卷积神经网络的真3D显示的手势交互技术，提供了一种高准确度的真3D手势交互方法，该方法通过加入卷积神经网络，提高手势语义输出的准确度，完成了真3D图像的高准确度实时交互，实现了用户和显示系统的动态命令和智能交流。四、附图说明附图1交互手势图。附图2本专利技术提出的卷积神经网络结构图。附图3本专利技术提出的基于卷积神经网络的手势识别原理框图。附图4基于卷积神经网络的真3D手势交互整体效果图。上述附图的图示标号为：100五指曲张手势，101食指转圈手势，102手掌挥动手势，400LeapMotion手势信息采集设备，401实时信息处理装置，402集成成像3D显示器。应该理解上述附图只是示意性的，并没有按比例绘制。五、具体实施方式下面详细说明本专利技术的一种基于卷积神经网络的真3D手势交互方法的一个典型实施案例，对本专利技术进行进一步的具体描述。有必要在此指出的是，以下实施案例只用于本专利技术做进一步的说明，不能理解为对本专利技术保护范围的限制，该领域技术熟练人员根据上述本
技术实现思路
对本专利技术做出一些非本质的改进和调整，仍属于本专利技术的保护范围。本专利技术提出的一种基于集成成像真3D手势交互方法具体包括3D模型的手势交互、3D模型的实时渲染、3D图像的实时显示三个过程。所述3D模型的手势交互过程，上述交互指令是根据LeapMotion装置检测到的手掌方向和法向量，手掌球的球心和半径，手指方向和位置等信息计算手的移动方向、速度、位移以及俯仰角、翻滚角、偏航角等变化情况定义了三种交互手势，如附图1所示。其中五指曲张，如附图100所示，食指旋转，如附图101所示，手掌平移，如附图102所示，通过对3D模型三维场景组进行矩阵运算，可实现3D模型的缩放、移动、和旋转。对三维仿射坐标进行缩放操作可以表示为：其中L、W、H分别表示3D模型最大包围盒的长、宽、高，S1、S2、S3分别表示L、W、H对应的缩放因子。对三维仿射坐标进行平移操作可以表示为：其中x、y、z表示3D模型质心的坐标，Tx、Ty、Tz表示x、y、z对应的偏移量。对三维仿射坐标进行绕x轴旋转，绕y轴旋转，绕z轴旋转操作可分别表示为：其中θ为掌心旋转角度的变化量，所述提升手势识别准确率主要包括两部分:数据预处理和卷积神经网络的训练，其网络结构如附图2所示，所述数据的预处理是将得到的手势图像进行压缩和灰度化处理，最后贴上对应的指令标签，建立一个包含M个训练样本的的数据集，其中Ii表示第i张图像，yi＝{yi0,yi1,yi2,...,yi(c-1)}为对应的注释输入的数据集。卷积神经网络框架是由8个卷积层和两个全连接层和2个池化层组成，所述卷积层中，卷积核大小为3×3，并且采用ReLU作为激活函数。卷积层对图像进行特征的提取，并且最后产生输出通道为1024的特征图。接着将其输入到全连接层，且全连接的过程中引入Dr本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的真3D手势交互方法其特征在于，采用Leap Motion体感控制器获取手势数据信息，通过综合Leap Motion预测的手势指令和训练好的神经网络模型预测的手势指令，输出手势的语义，改变3D模型三维仿射坐标，使其实现缩放、平移、旋转交互功能，利用逆光线追迹对交互后的3D图像进行渲染，在渲染的过程中采用空间包围盒技术实现3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来；具体步骤如下所示：/n步骤一：采用Leap Motion体感控制器获取手势数据信息，通过综合Leap Motion预测的手势指令和训练好的神经网络模型预测的手势指令，输出手势的语义，并定义五指曲张、手掌平移、食指旋转三种交互手势，通过对3D模型三维仿射坐标进行矩阵变换可实现3D模型的缩放、移动、和旋转；/n步骤二：3D模型的实时渲染，渲染模块运用了光线追迹和包围盒技术，计算光线发射平面发出的光线与3D模型表面最近碰撞点的入射辐射度值作为对应单元图像阵列平面像素的颜色值，生成微图像阵列；/n步骤三：3D图像的实时显示，将上述步骤中生成的微图像阵列输入到集成成像3D显示器中，可显示出具有立体视觉的真3D图像。/n...

【技术特征摘要】
1.一种基于卷积神经网络的真3D手势交互方法其特征在于，采用LeapMotion体感控制器获取手势数据信息，通过综合LeapMotion预测的手势指令和训练好的神经网络模型预测的手势指令，输出手势的语义，改变3D模型三维仿射坐标，使其实现缩放、平移、旋转交互功能，利用逆光线追迹对交互后的3D图像进行渲染，在渲染的过程中采用空间包围盒技术实现3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来；具体步骤如下所示：
步骤一：采用LeapMotion体感控制器获取手势数据信息，通过综合Leap...

【专利技术属性】
技术研发人员：王琼华，张力，李小伟，李大海，马孝铭，
申请(专利权)人：北京航空航天大学，四川大学，
类型：发明
国别省市：北京;11