一种基于多点感测设备进行手势控制全景内容的方法技术

本发明专利技术属于远程教育课堂技术领域，涉及一种基于多点感测设备进行手势控制全景内容的方法，至少包括以下步骤：实时监控步骤，实时监控全景环屏及周围环境情况，采集人体的运动传感数据；初级控制轨迹生成步骤，根据运动传感数据生成眼球运动轨迹；次级控制轨迹生成步骤，根据指运动传感数据生成指端运动轨迹集合；控制指令生成步骤，当眼球运动轨迹和指端运动轨迹集合之间的相似度数值小于预设相似度值时，生成最终控制指令；执行步骤，下发执行最终控制指令；其中，运动传感数据至少包括人体定位数据、人脸朝向数据、眼球运动数据、人体肢体位置数据。本申请提高实际操控效果与操控者想要的操控效果的一致性，响应速度块，提高远程上课效率。远程上课效率。远程上课效率。

【技术实现步骤摘要】
一种基于多点感测设备进行手势控制全景内容的方法


[0001]本专利技术属于远程教育课堂
，尤其是涉及一种基于多点感测设备进行手势控制全景内容的方法。

技术介绍

[0002]随着数字技术的发展和高校课程教学的需要，很多学校在教室内都装配了大尺寸的LED室内全彩表贴屏幕和拼接液晶屏幕，以呈现更多的教学内容，方便教师在教室中进行远程或现场教学。目前教室内的全景资源以及3D模型通常需要通过鼠标键盘等进行点击操控，这样大大限制了老师授课的活动范围与现场表现，鉴于此，有必要进行创新。现阶段有通过利用多点感测设备进行手势控制来对去全景环屏上显示内容进行控制，但是由于操控者与全景环屏之间存在一定距离，隔空操作导致实际操控效果与操控者想要的操控效果存在一定差距，同时响应速度偏慢，影响远程上课的效率。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种基于多点感测设备进行手势控制全景内容的方法，通过识别操控者手部运动，活动指端运动轨迹，结合眼球的眼球运动轨迹，进行轨迹识别以及确认，提高操控准确性，同时通过次级操控轨迹以及确认，提高响应速度，极大提高上课效率。
[0004]为实现上述目的，本专利技术提供了如下技术方案：
[0005]一种基于多点感测设备进行手势控制全景内容的方法，至少包括以下步骤：
[0006]实时监控步骤，实时监控全景环屏及周围环境情况，采集人体的运动传感数据；
[0007]初级控制轨迹生成步骤，根据所述运动传感数据生成眼球运动轨迹；/>[0008]次级控制轨迹生成步骤，根据指所述运动传感数据生成指端运动轨迹集合；
[0009]控制指令生成步骤，当所述眼球运动轨迹和所述指端运动轨迹集合之间的相似度数值小于预设相似度值时，生成最终控制指令；
[0010]执行步骤，下发执行所述最终控制指令；
[0011]其中，所述运动传感数据至少包括人体定位数据、人脸朝向数据、眼球运动数据、人体肢体位置数据。
[0012]作为本技术方案的优选，所述实时监控步骤中通视频摄像装置实时监控全景环屏，获得全景环屏显示画面信息和全景环屏前的前景画面信息。
[0013]作为本技术方案的优选，所述初级控制生成步骤之前还包括：触发步骤，当监测到全景环屏前具有人体，并且面部朝向全景环屏时触发执行所述初级控制生成步骤。
[0014]作为本技术方案的优选，所述初级控制生成步骤包括以下步骤：
[0015]眼动运动数据获取子步骤，获取所述人体定位数据、所述人脸朝向数据和所述眼球运动数据；
[0016]眼球运动轨迹生成子步骤，根据所述人体定位数据、所述人脸朝向数据、所述眼球
运动数据，生成多个落在全景环屏上的眼球聚焦点位置坐标数据，将多个眼球聚焦点根据时间顺序进行描点生成所述眼球运动轨迹。
[0017]作为本技术方案的优选，所述次级控制生成步骤至少包括以下步骤：
[0018]肢体运动数据获取子步骤，获取所述人体定位数据、所述人脸朝向数据和人体肢体位置数据；
[0019]肢体运动轨迹生成子步骤，根据所述人体定位数据、所述人脸朝向数据、所述人体手指指端位置数据，生成多个落在全景环屏上的人体手指指端落点位置坐标数据，将多个人体手指指端落点位置点根据时间顺序进行描点生成指所述指端运动轨迹集合。
[0020]作为本技术方案的优选，实时监测人体的运动，当人眼眼距中点到全景环屏的落点移动出全景环屏，停止所述肢体运动轨迹生成子步骤。
[0021]作为本技术方案的优选，所述最终控制生成步骤至少包括以下步骤；
[0022]差异计算子步骤，计算所述眼球运动轨迹和所述指端运动轨迹集合的轨迹相似度；
[0023]比较子步骤，将所述相似度数值和所述预设相似度值进行比较，当所述相似度数值小于所述预设相似度值时，执行下一步；
[0024]控制指令生成子步骤，根据所述指端运动轨迹集合，生成所述控制指令。
[0025]作为本技术方案的优选，所述最终控制生成步骤还包括：
[0026]第一判断子步骤，判断所述眼球运动轨迹是否为围绕于某一点运动的轨迹，若判断结果为是，则进行下一步判断；若判断结果为后，则执行所述比较子步骤；
[0027]第二判断子步骤，判断所述指端运动轨迹集合是否为具有相反方向的至少两条指端运动子轨迹，若判断结果为是，则执行所述控制指令生成子步骤，生成放大或缩小的所述控制指令。
[0028]作为本技术方案的优选，所述人体肢体位置数据还包含3D指关节位置数据。
[0029]作为本技术方案的优选，所述第二判断子步骤还包括根据所述3D指关节位置数据，判断使用者手部是否存在抓取或放开的动作，若存在，则当为抓取动作时，生成缩小控制指令；当为放开动作时，生成放大控制指令。
[0030]通过实施上述技术方案，本专利技术具有如下的优点：
[0031]1、实时监控全景环屏及周围环境情况，采集人体的运动传感数据，获取人体定位数据、人脸朝向数据、眼球运动数据、人体肢体位置数据，生成眼球运动轨迹和指端运动轨迹集合，方便后续的轨迹生成。
[0032]2、结合眼球的眼球运动轨迹，再通过识别操控者手部运动，生成指端运动轨迹集合，对两者进行轨迹识别以及确认，提高操控准确性。
[0033]3、在实际使用操作时，基于人体的动作习惯，一般在改变肢体运动轨迹之前，必定先通过肉眼进行环境的观察确认，人眼运动将先于肢体运动，生成眼球运动轨迹作为初次控制轨迹，即预判操控动作，再与指端运动轨迹集合进行对比计算确认，提高控制轨迹生成，提高响应速度，极大提高上课效率。
附图说明
[0034]图1为本专利技术的方法流程图；
[0035]图2为本专利技术中初级控制生成步骤的方法流程图；
[0036]图3为本专利技术中次级控制生成步骤的方法流程图；
[0037]图4为本专利技术中最终控制生成步骤的方法流程图；
[0038]图5为本专利技术中最终控制生成步骤的逻辑判断图；
[0039]图6为教室的空间定位摄像机排布图；
[0040]图7为教室的主摄像机排布图；
[0041]图8为教室的全景环屏示意图。
[0042]其中，01
‑
全景环屏，2
‑
教师，3a
‑
主摄像机,3b
‑
空间定位摄像机。
具体实施方式
[0043]以下结合具体的实施例和实验数据对本专利技术做进一步的说明。应理解，本专利技术的实施例只用于说明本专利技术而非限制本专利技术，在不脱离本专利技术技术思想的情况下，根据本领域普通技术知识和惯用手段，做出的各种替换和变更，均应包括在本专利技术的范围内。
[0044]实施例1：
[0045]如图1至图8所示，一种基于多点感测设备进行手势控制全景内容的方法，至少包括以下步骤：
[0046]实时监控步骤，实时监控全景环屏及周围环境情况，采集人体的运动传感数据；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多点感测设备进行手势控制全景内容的方法，其特征在于，至少包括以下步骤：实时监控步骤，实时监控全景环屏及周围环境情况，采集人体的运动传感数据；初级控制轨迹生成步骤，根据所述运动传感数据生成眼球运动轨迹；次级控制轨迹生成步骤，根据指所述运动传感数据生成指端运动轨迹集合；控制指令生成步骤，当所述眼球运动轨迹和所述指端运动轨迹集合之间的相似度数值小于预设相似度值时，生成最终控制指令；执行步骤，下发执行所述最终控制指令；其中，所述运动传感数据至少包括人体定位数据、人脸朝向数据、眼球运动数据、人体肢体位置数据。2.根据权利要求1所述的一种基于多点感测设备进行手势控制全景内容的方法，其特征在于，所述实时监控步骤中通视频摄像装置实时监控全景环屏(01)，获得全景环屏显示画面信息和全景环屏(01)前的前景画面信息。3.根据权利要求2所述的一种基于多点感测设备进行手势控制全景内容的方法，其特征在于，所述初级控制生成步骤之前还包括：触发步骤，当监测到全景环屏(01)前具有人体，并且面部朝向全景环屏(01)时触发执行所述初级控制生成步骤。4.根据权利要求1所述的一种基于多点感测设备进行手势控制全景内容的方法，其特征在于，所述初级控制生成步骤包括以下步骤：眼动运动数据获取子步骤，获取所述人体定位数据、所述人脸朝向数据和所述眼球运动数据；眼球运动轨迹生成子步骤，根据所述人体定位数据、所述人脸朝向数据、所述眼球运动数据，生成多个落在全景环屏(01)上的眼球聚焦点位置坐标数据，将多个眼球聚焦点根据时间顺序进行描点生成所述眼球运动轨迹。5.根据权利要求4所述的一种基于多点感测设备进行手势控制全景内容的方法，其特征在于，所述次级控制生成步骤至少包括以下步骤：肢体运动数据获取子步骤，获取所述人体定位数据、所述人脸朝向数据和人体肢体位置数据；肢体运动轨迹生成子步骤，根据所述人体定位数据、所述...

【专利技术属性】
技术研发人员：袭普照，施玉梁，
申请(专利权)人：上海卓越睿新数码科技股份有限公司，
类型：发明
国别省市：