一种基于头动意图的VR画面刷新方法及系统技术方案

本发明专利技术公开了一种基于头动意图的VR画面刷新方法及系统。该方法包括：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；根据识别出的用户转头方向刷新VR画面。本发明专利技术能够对用户头动意图进行识别，从而能够提前预测头部运动，为VR画面刷新留出时间，实现VR时延的缩短。短。短。

【技术实现步骤摘要】
一种基于头动意图的VR画面刷新方法及系统


[0001]本专利技术涉及VR画面刷新
，特别是涉及一种基于头动意图的VR画面刷新方法及系统。

技术介绍

[0002]现有技术中是基于时延缩短方式进行VR界面刷新优化的，但是基于时延缩短的方式主要包括硬件性能提升和算法优化，这种在动作发生后才进行画面刷新的方法在原理层面将会遇到无法继续缩短时延的技术瓶颈。

技术实现思路

[0003]本专利技术的目的是提供一种基于头动意图的VR画面刷新方法及系统，能够在头部运动发生前就进行VR画面刷新准备工作，从而极大地缩短时延。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于头动意图的VR画面刷新方法，包括：
[0006]采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；
[0007]通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；
[0008]根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；
[0009]根据识别出的用户转头方向刷新VR画面。
[0010]可选地，通过脑电帽设备采集用户的脑电信号，脑电信号通道数目为3。
[0011]可选地，在通过所述脑电信号训练卷积神经网络模型之前，还包括：
[0012]对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。
[0013]本专利技术还提供了一种基于头动意图的VR画面刷新系统，包括：
[0014]采集模块，用于采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；
[0015]第一训练模块，用于通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；
[0016]第二训练模块，用于根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；
[0017]刷新模块，用于根据识别出的用户转头方向刷新VR画面。
[0018]可选地，通过脑电帽设备采集用户的脑电信号，脑电信号通道数目为3。
[0019]可选地，还包括：
[0020]预处理模块，用于对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。
[0021]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0022]本专利技术提供了一种基于头动意图的VR画面刷新方法，包括：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；根据识别出的用户转头方向刷新VR画面。本专利技术能够对用户头动意图进行识别，从而能够提前预测头部运动，为VR画面刷新留出时间，实现VR时延的缩短。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本专利技术实施例基于头动意图的VR画面刷新方法的流程图；
[0025]图2为本专利技术实施例基于头动意图的VR画面刷新方法的原理图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]本专利技术的目的是提供一种基于头动意图的VR画面刷新方法及系统，能够在头部运动发生前就进行VR画面刷新准备工作，从而极大地缩短时延。
[0028]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0029]如图1
‑
2所示，一种基于头动意图的VR画面刷新方法，包括以下步骤：
[0030]步骤101：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号。
[0031]在实际应用中，通过脑电帽设备采集用户在左右转头运动前后的脑电信号(EEG)，脑电信号通道数目为3，具体为FCz、FC3、FC4。需注意，通道数目和通道位置均可以调整，也可以更换成其他通道。
[0032]采集实验包括随机在电脑屏幕上出现左右转头方向提示，用户根据提示进行左右转头运动。
[0033]对脑电信号数据进行预处理，通过连续小波变换得到小波变换时频图。
[0034]步骤102：通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图。
[0035]将时频图放入卷积神经网络中进行训练，得到该用户关于是否存在头部运动意图的模型，即转头意图识别模型。
[0036]步骤103：根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向。
[0037]步骤104：根据识别出的用户转头方向刷新VR画面。
[0038]具体实施例：
[0039]在用户佩戴VR头盔显示器后，通过佩戴脑电帽实时采集处理脑电信号，截取最新收集的300ms脑电信号数据段。
[0040]利用脑电解码算法对该数据段进行处理获得是否存在头部运动意图。利用转头意图识别模型实现实时的运动意图检测识别，判断是否有头动意图。如果不存在头部运动意图则VR画面不刷新，继续进行脑电信号监测。
[0041]如果存在头动意图，利用转头方向识别模型进行左右转头意图识别分类，得到分类方向，可以识别未来几百毫秒内头部的运动方向。
[0042]根据头部运动意图方向，可以向VR设备发送方向信息，然后根据运动速度估计和画面刷新耗时得到头部视角在未来时刻所处的位置，最后根据这一位置信息将VR场景画面视角进行调整，在头部运动发生前就进行VR设备画面刷新准备，为VR画面刷新留足时间从而缩短VR设备时延，从而缓解时延带来的VR晕动症。
[0043]其中，根据运动速度估计和画面刷新耗时得到头部视角在未来时刻所处的位置，具体为，头部运动意图方向识别后，再根据前期通过惯性传感器得到的统计的用户平均转头速度作为假设转头速度。而时间计算方面，通过对头动意图的脑电信号产生时间和惯性传感器测得的实际头动时间之间的间隔时间进行统计得到平均值。同时计算机内部对上述步骤的耗时进行记录并加上画面刷新的固定耗时，得到整个过程的耗时，最后两个时间相减可以知道画面呈现时间处于头部运动多久后，之后再根据平均转头速度通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于头动意图的VR画面刷新方法，其特征在于，包括：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；根据识别出的用户转头方向刷新VR画面。2.根据权利要求1所述的基于头动意图的VR画面刷新方法，其特征在于，通过脑电帽设备采集用户的脑电信号，脑电信号通道数目为3。3.根据权利要求1所述的基于头动意图的VR画面刷新方法，其特征在于，在通过所述脑电信号训练卷积神经网络模型之前，还包括：对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。4.一种基于头动意图的V...

【专利技术属性】
技术研发人员：王党校，张志毫，余济凡，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：