一种虚拟现实显示方法及设备技术

本申请提供一种虚拟现实显示方法、设备及存储介质，所述方法包括：接收用户面部图像数据；对所述面部图像数据进行面部表情图像预处理；对预处理后的面部表情图像进行表情特征提取；根据所述提取的表情特征判断面部图像中表情所属的表情分类，确定面部表情识别结果；将面部表情识别结果输入虚拟现实场景中，所述虚拟现实场景中的目标对象根据上述面部表情识别结果执行特定动作。别结果执行特定动作。别结果执行特定动作。

【技术实现步骤摘要】
一种虚拟现实显示方法及设备


[0001]本专利技术涉及图像显示领域，更具体的涉及一种虚拟现实显示方法。

技术介绍

[0002]虚拟现实技术(英文名称：Virtual Reality，缩写为VR)，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。为了增强身临其境的感受，现有技术中采用多种手段实现使用者与虚拟场景的交互。目前主要通过在使用者的手臂、手指等肢体上佩戴传感器，通过传感器采集肢体动作信息作为交互命令，输入至虚拟现实场景中以实现交互。此种方式既增加了设备的繁杂，可能给使用者带来不适，也破坏了使用者在虚拟现实场景中的沉浸感。
[0003]现有技术中尝试使用面部表情识别来实现对虚拟现实场景的控制，通过识别使用者的面部表情对应的输入控制命令，从而实现与虚拟现实场景的交互。然而，由于现有的面部表情识别神经网络算法难以兼顾自学习和局部推理，导致面部表情识别神经网络算法复杂度高、处理时延长，不适于应用在虚拟现实场景的控制中。

技术实现思路

[0004]本专利技术的目的是克服现有技术的上述不足，提供一种能够增强虚拟现实场景交互沉浸感的虚拟现实显示方法。本专利技术的技术方案如下：
[0005]一种虚拟现实显示方法，应用于虚拟现实显示设备中，所述虚拟现实显示设备由用户佩戴，其特征在于，包括以下步骤：
[0006]S1：接收用户面部图像数据；
[0007]S2：对所述面部图像数据进行面部表情图像预处理；
>[0008]S3:对预处理后的面部表情图像进行表情特征提取；
[0009]S4：根据所述提取的表情特征判断面部图像中表情所属的表情分类，确定面部表情识别结果；
[0010]S5:将面部表情识别结果输入虚拟现实场景中，所述虚拟现实场景中的目标对象根据上述面部表情识别结果执行特定动作。
[0011]步骤S3中，采用优化后的神经网络模型进行表情特征提取，所述优化后的神经网络算法包括：输入匹配层、扩展和共享学习层以及自适应反馈输出层，所述输入匹配层具体包括：使用主成分分析方法将面部表情图像从高维信息空间映射到低维特征子空间；为加强对输出的控制，利用卷积神经网络的局部感知作为不同尺度图像判断的基础，以提供反馈能力；将前一层收集的局部特征组合在一起以获得图像的局部信息；
[0012]所述扩展和共享学习层具体包括：将面部特征转换为颜色、光线、和形状，利用时间偏移因子替换原隐含层的阈值；使用权重共享，获取特征的卷积运算与特征位置无关；
[0013]所述自适应反馈输出具体包括：对扩展和共享学习层中节点的输出进行加权求和，使用激活函数sigmoid对加权求和的结果进行转换，并作为最终的输出结果。
[0014]所述对所述面部图像数据进行预处理，包括面部图像旋转、面部图像切割以及直方图均衡化。
[0015]利用面部表情类别知识图进行表情分类，其中，将得到的面部表情特征H作为模型输入，F(
·
)表示表情分类结果，损失函数为：
[0016][0017]其中，H表示节点特征，F
i
(H)表示第i张面部表情的输出结果，y
i
表示面部表情图像i的标签，m为面部表情的数目，L
cross_entropy
作为交叉熵，表示面部表情图像类别预测值和面部表情真实标签之间的损失函数。
[0018]一种虚拟现实显示设备，所述虚拟现实显示设备由用户佩戴，其特征在于，所述虚拟现实显示设备包括以下模块：
[0019]接收模块，用于接收所述用户面部图像数据；
[0020]预处理模块，所述预处理模块用于对所述面部图像数据进行面部表情图像预处理；
[0021]表情特征提取模块，所述表情特征提取模块用于对预处理后的面部表情图像进行表情特征提取；
[0022]表情分类模块，所述表情分类模块用于根据所述提取的表情特征判断面部图像中表情所属的表情分类，确定面部表情识别结果；
[0023]处理模块，所述处理模块用于将面部表情识别结果输入虚拟现实场景中，所述虚拟现实场景中的目标对象根据上述面部表情识别结果执行特定动作。
[0024]所述表情特征提取模块采用优化后的神经网络模型进行表情特征提取，所述优化后的神经网络算法包括：输入匹配层、扩展和共享学习层以及自适应反馈输出层，所述输入匹配层具体包括：使用主成分分析方法将面部表情图像从高维信息空间映射到低维特征子空间；为加强对输出的控制，利用卷积神经网络的局部感知作为不同尺度图像判断的基础，以提供反馈能力；将前一层收集的局部特征组合在一起以获得图像的局部信息；
[0025]所述扩展和共享学习层具体包括：将面部特征转换为颜色、光线、和形状，利用时间偏移因子替换原隐含层的阈值；使用权重共享，获取特征的卷积运算与特征位置无关；
[0026]所述自适应反馈输出具体包括：对扩展和共享学习层中节点的输出进行加权求和，使用激活函数sigmoid对加权求和的结果进行转换，并作为最终的输出结果。
[0027]所述预处理模块对所述面部图像数据进行预处理，包括面部图像旋转、面部图像切割以及直方图均衡化。
[0028]利用面部表情类别知识图进行表情分类，其中，将得到的面部表情特征H作为模型输入，F(
·
)表示表情分类结果，损失函数为：
[0029][0030]其中，H表示节点特征，F
i
(H)表示第i张面部表情的输出结果，y
i
表示面部表情图像i的标签，m为面部表情的数目，L
cross_entropy
作为交叉熵，表示面部表情图像类别预测值和面部表情真实标签之间的损失函数。
[0031]本专利技术的虚拟现实显示方法，将用户面部表情的识别结果作为输入，不需要用户额外佩戴其他设备即可实现与虚拟现实场景的交互，增强用户与虚拟现实场景交互的沉浸感，减少了设备的繁杂度，并使得身体残疾人员，例如不具备佩戴附加传感器条件的人员，能够体验虚拟现实技术；由于采用了优化后的神经网络算法，实现面部表情识别，克服了现有技术中神经网络算法复杂度高、处理时延长的缺陷，显著提高了用户与虚拟现实场景的交互效果。
附图说明
[0032]图1是本专利技术实施例提供的虚拟现实显示方法的流程图；
[0033]图2是本专利技术实施例提供的面部图像切割的示意图；
[0034]图3是本专利技术实施例提供的优化后的神经网络模型的示意图；
[0035]图4是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0036]现有技术在实现虚拟现实场景交互时，通常需要用户佩戴额外的传感器设备，将传感器设备采集到的用户动作信息作为输入，实现虚拟现实场景中目标物体的改变。为了增强虚拟现实场景交互的沉浸感，同时考虑到残疾人可能不能佩戴额外的传感器设备，本申请采用用户的面部表情作为输入，实现对虚拟现实场景中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实显示方法，应用于虚拟现实显示设备中，所述虚拟现实显示设备由用户佩戴，其特征在于，包括以下步骤：S1：接收用户面部图像数据；S2：对所述面部图像数据进行面部表情图像预处理；S3:对预处理后的面部表情图像进行表情特征提取；S4：根据所述提取的表情特征判断面部图像中表情所属的表情分类，确定面部表情识别结果；S5:将面部表情识别结果输入虚拟现实场景中，所述虚拟现实场景中的目标对象根据上述面部表情识别结果执行特定动作。2.根据权利要求1所述的方法，步骤S3中，采用优化后的神经网络模型进行表情特征提取，所述优化后的神经网络算法包括：输入匹配层、扩展和共享学习层以及自适应反馈输出层，所述输入匹配层具体包括：使用主成分分析方法将面部表情图像从高维信息空间映射到低维特征子空间；为加强对输出的控制，利用卷积神经网络的局部感知作为不同尺度图像判断的基础，以提供反馈能力；将前一层收集的局部特征组合在一起以获得图像的局部信息；所述扩展和共享学习层具体包括：将面部特征转换为颜色、光线、和形状，利用时间偏移因子替换原隐含层的阈值；使用权重共享，获取特征的卷积运算与特征位置无关；所述自适应反馈输出具体包括：对扩展和共享学习层中节点的输出进行加权求和，使用激活函数sigmoid对加权求和的结果进行转换，并作为最终的输出结果。3.根据权利要求1所述的方法，所述对所述面部图像数据进行预处理，包括面部图像旋转、面部图像切割以及直方图均衡化。4.根据权利要求2所述的方法，利用面部表情类别知识图进行表情分类，其中，将得到的面部表情特征H作为模型输入，F(
·
)表示表情分类结果，损失函数为：其中，H表示节点特征，F
i
(H)表示第i张面部表情的输出结果，y
i
表示面部表情图像i的标签，m为面部表情的数目，L
cross_entropy
作为交叉熵，表示面部表情图像类别预测值和面部表情真实标签之间的损失函数。5.一种虚拟现实显示设备，所述虚拟现实显示设备由用户佩戴，其特征在于，所述虚拟现实显示设备包括以下模块：接收模块，用于接收所述用户面部图像数据；预处理模块，所述预处理模块用于对所述面部图像数据进行面部表情图像预处理；表情特征提取模块，所述表情特征提取模块用于对预处...

【专利技术属性】
技术研发人员：朱悦云，黄胜，谭一菱，王倩，范明星，
申请(专利权)人：开封大学，
类型：发明
国别省市：