【技术实现步骤摘要】
本申请涉及计算机视觉，特别涉及一种夜游景区中的手势交互方法、手势交互装置、手势交互系统和计算机可读存储介质。
技术介绍
1、传统的人机交互以交互主体适应交互客体(以人适应机)为主，主要有键盘、鼠标以及触屏交互等方式。新的人机交互已发展为交互客体不断适应交互主体习惯的新阶段，这一过程中，以捕获人手的肢体动作，并将其转化成相应命令的手势交互逐渐发展成为主流的、新的人机交互方式。但是传统的视觉算法手势识别在夜晚景区这种光照不均匀、背景复杂的情况下，识别准确性会下降。
技术实现思路
1、本申请实施方式提供了一种夜游景区中的手势交互方法、手势交互装置、手势交互系统和计算机可读存储介质，以解决上述存在的至少一个技术问题。
2、本申请实施方式的夜游景区中的手势交互方法，应用于手势交互系统，所述手势交互系统包括景区灯光设备，所述手势交互方法包括：
3、当用户处于所述景区灯光设备的预定交互位置时，实时获取用户的手势信息；
4、基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互；
5、当判定用户开始进行手势交互时，基于手势跟踪网络模型对所述手势信息进行手势跟踪，以获取手势运动轨迹；
6、基于轨迹识别算法对所述手势运动轨迹进行轨迹识别，以确定用户指令；
7、根据所述用户指令对所述景区灯光设备进行相应控制。
8、在某些实施方式中，所述手势交互方法还包括：
9、对所述手势信息进行视频抽帧处
10、所述基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互，包括：
11、基于yolo检测模型对所述手势图片进行手势检测，以判断用户是否开始进行手势交互。
12、在某些实施方式中，所述基于yolo检测模型对所述手势图片进行手势检测，以判断用户是否开始进行手势交互，包括：
13、对所述手势图片进行特征提取，得到多个第一特征图；
14、对多个所述第一特征图进行特征融合处理，得到对应的多个第二特征图；
15、根据多个所述第二特征图进行目标预测，以判断用户是否开始进行手势交互。
16、在某些实施方式中，在所述基于yolo检测模型对所述手势图片进行手势检测之前，所述基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互，还包括：
17、对训练图片进行数据增强和初始化处理，得到数据增强图片；
18、对所述数据增强图片进行特征提取，得到多个第一训练特征图；
19、对多个所述第一训练特征图进行特征融合处理，得到对应的多个第二训练特征图；
20、根据多个所述第二训练特征图进行目标预测，得到预测框；
21、根据所述预测框和真实框确定边界框回归损失函数，以优化模型参数，得到所述yolo检测模型。
22、在某些实施方式中，所述yolo检测模型采用ciou损失函数作为所述边界框回归损失函数。
23、在某些实施方式中，所述ciou损失函数的函数值与所述真实框和所述预测框的重叠面积、中心距离和长宽比相关。
24、在某些实施方式中，所述当判定用户开始进行手势交互时，基于手势跟踪网络模型对所述手势信息进行手势跟踪，以获取手势运动轨迹，包括：
25、当判定用户开始进行手势交互时，截取所述手势信息中所述手势图片后续的手势视频；
26、基于siamrpn++网络模型对所述手势视频进行手势跟踪，以获取所述手势运动轨迹。
27、在某些实施方式中，所述基于siamrpn++网络模型对所述手势视频进行手势跟踪，以获取所述手势运动轨迹，包括：
28、通过resnet50网络结构对所述手势视频中的连续多帧图片进行特征提取，以获取所述手势运动轨迹。
29、在某些实施方式中，在所述基于siamrpn++网络模型对所述手势视频进行手势跟踪之前，所述手势交互方法还包括：
30、采用正样本对和负样本对对所述siamrpn++网络模型进行模型训练；
31、其中，所述正样本对为同一个所述手势视频中的相邻帧图片，所述负样本对为不同所述手势视频中的不同图片。
32、在某些实施方式中，所述负样本包括普通负样本对和困难样本对，所述普通负样本对中图像内容和手势的相关性小于第一预定值，所述困难样本对中图像内容和手势的相关性大于第二预定值，所述第二预定值大于所述第一预定值。
33、在某些实施方式中，所述基于轨迹识别算法对所述手势运动轨迹进行轨迹识别，以确定用户指令，包括：
34、基于ocr算法对所述手势运动轨迹进行轨迹识别，以确定所述用户指令。
35、本申请实施方式的夜游景区中的手势交互装置，应用于手势交互系统，所述手势交互系统包括景区灯光设备，所述手势交互装置包括：
36、获取模块，用于当用户处于所述景区灯光设备的预定交互位置时，实时获取用户的手势信息；
37、检测模块，用于基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互；
38、跟踪模块，用于当判定用户开始进行手势交互时，基于手势跟踪网络模型对所述手势信息进行手势跟踪，以获取手势运动轨迹；
39、确定模块，用于基于轨迹识别算法对所述手势运动轨迹进行轨迹识别，以确定用户指令；
40、控制模块，用于根据所述用户指令对所述景区灯光设备进行相应控制。
41、本申请实施方式的夜游景区中的手势交互系统，所述手势交互系统包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现上述任一实施方式的手势交互方法。
42、本申请实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述任一实施方式的手势交互方法。
43、本申请实施方式的夜游景区中的手势交互方法、手势交互装置、手势交互系统和计算机可读存储介质，基于手势检测模型对手势信息进行手势检测，基于手势跟踪网络模型对手势信息进行手势跟踪，获取手势运动轨迹，基于轨迹识别算法对手势运动轨迹进行轨迹识别，以确定用户指令，再根据用户指令对景区灯光设备进行相应控制。如此，保证了手势信息的识别准确性，使用户与景区中的手势交互系统之间的交互更具准确性。
44、本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请实施方式的实践了解到。
本文档来自技高网...【技术保护点】
1.一种夜游景区中的手势交互方法，其特征在于，应用于手势交互系统，所述手势交互系统包括景区灯光设备，所述手势交互方法包括：
2.根据权利要求1所述的手势交互方法，其特征在于，所述手势交互方法还包括：
3.根据权利要求2所述的手势交互方法，其特征在于，所述基于YOLO检测模型对所述手势图片进行手势检测，以判断用户是否开始进行手势交互，包括：
4.根据权利要求2所述的手势交互方法，其特征在于，在所述基于YOLO检测模型对所述手势图片进行手势检测之前，所述基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互，还包括：
5.根据权利要求4所述的手势交互方法，其特征在于，所述YOLO检测模型采用CIOU损失函数作为所述边界框回归损失函数。
6.根据权利要求5所述的手势交互方法，其特征在于，所述CIOU损失函数的函数值与所述真实框和所述预测框的重叠面积、中心距离和长宽比相关。
7.根据权利要求2所述的手势交互方法，其特征在于，所述当判定用户开始进行手势交互时，基于手势跟踪网络模型对所述手势信息进行手
8.根据权利要求7所述的手势交互方法，其特征在于，所述基于SiamRPN++网络模型对所述手势视频进行手势跟踪，以获取所述手势运动轨迹，包括：
9.根据权利要求7所述的手势交互方法，其特征在于，在所述基于SiamRPN++网络模型对所述手势视频进行手势跟踪之前，所述手势交互方法还包括：
10.根据权利要求9所述的手势交互方法，其特征在于，所述负样本包括普通负样本对和困难样本对，所述普通负样本对中图像内容和手势的相关性小于第一预定值，所述困难样本对中图像内容和手势的相关性大于第二预定值，所述第二预定值大于所述第一预定值。
11.根据权利要求1所述的手势交互方法，其特征在于，所述基于轨迹识别算法对所述手势运动轨迹进行轨迹识别，以确定用户指令，包括：
12.一种夜游景区中的手势交互装置，其特征在于，应用于手势交互系统，所述手势交互系统包括景区灯光设备，所述手势交互装置包括：
13.一种夜游景区中的手势交互系统，其特征在于，所述手势交互系统包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现权利要求1-11任意一项所述的手势交互方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-11任意一项所述的手势交互方法。
...【技术特征摘要】
1.一种夜游景区中的手势交互方法，其特征在于，应用于手势交互系统，所述手势交互系统包括景区灯光设备，所述手势交互方法包括：
2.根据权利要求1所述的手势交互方法，其特征在于，所述手势交互方法还包括：
3.根据权利要求2所述的手势交互方法，其特征在于，所述基于yolo检测模型对所述手势图片进行手势检测，以判断用户是否开始进行手势交互，包括：
4.根据权利要求2所述的手势交互方法，其特征在于，在所述基于yolo检测模型对所述手势图片进行手势检测之前，所述基于手势检测模型对所述手势信息进行手势检测，以判断用户是否开始进行手势交互，还包括：
5.根据权利要求4所述的手势交互方法，其特征在于，所述yolo检测模型采用ciou损失函数作为所述边界框回归损失函数。
6.根据权利要求5所述的手势交互方法，其特征在于，所述ciou损失函数的函数值与所述真实框和所述预测框的重叠面积、中心距离和长宽比相关。
7.根据权利要求2所述的手势交互方法，其特征在于，所述当判定用户开始进行手势交互时，基于手势跟踪网络模型对所述手势信息进行手势跟踪，以获取手势运动轨迹，包括：
8.根据权利要求7所述的手势交互方法，其特征在于，所述基于siamrpn++网络模...
【专利技术属性】
技术研发人员：杨杰，周荣庭，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。