一种基于XR设备的眼动手势无人机操控方法技术

本发明专利技术公开一种基于XR设备的眼动手势无人机操控方法，具体包括：S1建立XR设备与无人机的实时通讯；S2注视点预测；S3目标航点确定；S4手势指令识别；S5飞行路径确认；S6飞行控制。本发明专利技术完全取代了传统的无人机遥控器，将无人机视野图像的获取、飞行意图的传达和控制直接集成到头戴式XR设备中，尤其是将飞行意图的传达由传统的遥控器摇杆间接传达改变为XR设备主动通过眼动识别算法获取，避免了遥控器控制可能带来的误操作，实现了更加安全、高效、智能、便携的无人机飞行控制。便携的无人机飞行控制。便携的无人机飞行控制。

【技术实现步骤摘要】
一种基于XR设备的眼动手势无人机操控方法


[0001]本专利技术属于无人机控制
，具体涉及基于XR设备的眼动手势无人机操控方法。

技术介绍

[0002]随着无人机技术的发展，无人机在民用领域和军事领域越来越发挥出更为重要的作用，比如无人机喷洒农药、无人机送餐、无人机摄影、无人机侦察等。但是传统的无人机操作具有一定的技术门槛，复杂环境下的安全性也难以保证，因此诞生了“职业飞手”等职业。如何降低无人机的操作难度、提高飞行任务的安全性，成为一个亟需解决的突出问题。同时，随着虚拟现实(VR)、增强显示(XR)、混合现实(MR)等技术的发展，“元宇宙”技术概念成为当前的一大热门，如何利用可穿戴式的XR设备实现便携式、沉浸式的人机交互控制具有较大的应用价值与应用前景。
[0003]图1展示了一种现有的无人机遥控器，其包括双摇杆和显示屏，双摇杆可实现八个自由度的方向控制；显示屏可展示无人机相机视角图像。传统的无人机操控方式是由人眼直接观察无人机位置或者通过无人机相机回传到遥控器的图像间接判断无人机位置，然后通过遥控器控制无人机的速度、水平偏航角、高度、水平位置飞往目标位置。传统的无人机控制方式至少存在以下几个问题：一是操作难度问题。无人机操控者在操控无人机时要同时实现对双摇杆的精确控制，通过综合调整无人机的速度、偏航角、高度及水平位置使无人机按照设想轨迹飞往目标位置，摇杆较高的灵敏度、无人机较高的速度以及操作者不佳的观察视角都使得这种操作这对于非专业操作者来说是非常不友好的。二是安全性问题。在复杂飞行环境下，人眼无法直接观察到无人机周围的环境，通过无人机相机视角间接观察又受限于无人机的相机视角，即使是无人机相机已经捕获到未来的可能障碍物，也可能被操作者忽略而导致危险的发生。当然，即使准确的预知了风险也可能因操作不当或误判断而致使了风险的发生。上述种种情况使得复杂环境下的远程遥控无人机飞行具有极低的安全性。三是无人机手柄及显示设备的便携性问题。
[0004]随着可穿戴式设备技术的发展以及XR、VR、MR技术的发展，如何将无人机相机画面直接呈现在人眼前并实现无控制器的沉浸式便携操作也成为当前一大需求。与此同时，大量关于无人机操控与操控者眼睛注视点相关性的研究表明：无人机飞行轨迹与操作者操作过程中的注视点具有极强的相关性，操作者在操控无人机时始终注视着无人机的未来飞行航点，并且该航点始终在无人机前方。传统无人机控制操作难度高、安全性不足的一个重要原因就是人眼获取未来飞行航点后需要将这种到达未来飞行航点的飞行意图通过遥控器精确地表达出来，显然这是有难度并且有风险的。如果我们能将人眼获取的未来飞行航点信息直接传达给无人机，让无人机通过精确的路径规划自主导航到此航点，显然难度和风险都将大大降低。

技术实现思路

[0005]针对现有无人机控制操作难度较高、安全性不足且操控便捷性不足的问题，本专利技术提供一种基于XR设备的眼动手势操控无人机方法。
[0006]具体技术方案为：
[0007]一种基于XR设备的眼动手势无人机操控方法，包括以下步骤：
[0008]S1，建立XR设备与无人机的实时通讯；S2，注视点预测；无人机实时将采集到的第一视角画面回传到XR设备中并显示，利用纯眼图的深度学习方法预测操作者眼睛在所述画面中的二维注视点坐标(G
x
,G
y
)；S3：目标航点确定；基于步骤S2中的二维注视点坐标(G
x
,G
y
)，结合深度信息确定目标航点的三维坐标(G
x
,G
y
,G
z
)，其中，D表示最大深度距离，可根据应用场景确定；v
max
表示无人机最大速度，v
min
表示无人机最小速度，v表示无人机当前速度；S4：手势指令识别；XR设备通过自身配置的前置摄像头获取操作者手部图像，基于手势识别算法识别对应手势，并将识别出的手势转换为对应的飞控指令；S5：飞行路径确认；XR设备实时将步骤S3中确定的目标航点三维坐标以及步骤S4的飞控指令发送给无人机，并基于无人机当前位置和目标航点的连线作为无人机的当前飞行路径；判断当前飞行路径是否存在障碍物，若不存在障碍物，则确认当前飞行路径；否则，无人机向XR设备发出警示提醒，重新返回步骤S2；S6：飞行控制；无人机进基于动态规划路径及飞控指令执行飞行任务。
[0009]进一步的，所述判断当前飞行路径是否存在障碍物，具体为，无人机的激光雷达或深度相机获取无人机当前飞行路径方向H深度范围内、W宽度范围内的障碍物信息，其中，H＝k*G
z
，k为安全系数，表示飞行路径的安全宽容度，W为无人机机体宽度；若存在障碍物信息，则判定当前飞行路径存在障碍物，否则，判定当前飞行路径不存在障碍物。
[0010]进一步的，步骤S2还包括注视点预测结果去抖动步骤，对注视点预测结果进行平滑滤波，平滑滤波后的结果为：其中符合不等式不等式中，不等式中，不等式中，表示预测注视点的x坐标，表示预测注视点的y坐标，m表示平滑滤波窗口大小；平滑滤波后的结果表达式中，I表示预测注视点符合不等式的集合，n表示符合I集合的预测注视点个数。
[0011]进一步的，步骤S2中纯眼图的深度学习方法，其实现具体包括眼动数据集的构建、眼动跟踪模型的建立、眼动跟踪模型的训练以及眼动跟踪模型的部署步骤；其中眼动跟踪模型为神经网络模型，包括卷积层、激活函数、全连接层，卷积层用于从眼部图像中提取与视线相关的图像特征，激活函数用于将卷积层的结果进行非线性映射，全连接层用于将提取的所有特征拟合，得到二维视线坐标，即二维注视点坐标。
[0012]进一步的，所述眼动数据集的构建具体为，XR设备中设计一定大小的二维显示平面，在平面上均匀标记200个以上的点并记录点的二维坐标，通过XR设备的近眼摄像头采集多名被试观看所有点时的眼部图像。
[0013]进一步的，所述实时通讯包括局域网、4G、5G以及Wi
‑
Fi无线通讯。
[0014]进一步的，所述手势识别算法为基于IMU的手势识别方法。
[0015]进一步的，所述手势识别算法为基于RGB图像的手势识别方法，该方法采用神经网络模型，包括首先通过Yolo算法实现对手部图像的定位和分割，进一步通过卷积层提取手部图像特征，再通过全连接层及softmax激活函数实现手势类别到识别概率的非线性映射，最大识别概率对应的手势类别即为识别的手势。
[0016]进一步的，所述XR设备通过配备其上的前置摄像头实时采集手部图像。
[0017]进一步的，手势指令只用于改变无人机当前飞行速度以及启停操作，当步骤S4未检测到任何手势或步骤S5未收到新的飞控指令时，无人机按照当前速度或者默认速度，单独由操作者的眼睛完成无人机飞行控制。
[0018]该方法利用眼动跟踪算法实时估计人眼在无人机回传的第一视角画面上的注视坐标，然后将该坐标信息转换为无人机机体坐标系下的三维空间坐标，此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于XR设备的眼动手势无人机操控方法，其特征在于，包括以下步骤：S1，建立XR设备与无人机的实时通讯；S2，注视点预测；无人机实时将采集到的第一视角画面回传到XR设备中并显示，利用纯眼图的深度学习方法预测操作者眼睛在所述画面中的二维注视点坐标(G
x
,G
y
)；S3：目标航点确定；基于步骤S2中的二维注视点坐标(G
x
,G
y
)，结合深度信息确定目标航点的三维坐标(G
x
,G
y
,G
z
)，其中，D表示最大深度距离，可根据应用场景确定；v
max
表示无人机最大速度，v
min
表示无人机最小速度，v表示无人机当前速度；S4：手势指令识别；XR设备通过自身配置的前置摄像头获取操作者手部图像，基于手势识别算法识别对应手势，并将识别出的手势转换为对应的飞控指令；S5：飞行路径确认；XR设备实时将步骤S3中确定的目标航点三维坐标以及步骤S4的飞控指令发送给无人机，并基于无人机当前位置和目标航点的连线作为无人机的当前飞行路径；判断当前飞行路径是否存在障碍物，若不存在障碍物，则确认当前飞行路径；否则，无人机向XR设备发出警示提醒，重新返回步骤S2；S6：飞行控制；无人机进基于当前飞行路径及飞控指令执行飞行任务。2.根据权利要求1所述的基于XR设备的眼动手势无人机操控方法，其特征在于，步骤S5中，所述判断当前飞行路径是否存在障碍物，具体为，无人机的激光雷达或深度相机获取无人机当前飞行路径方向H深度范围内、W宽度范围内的障碍物信息，其中，H＝k*G
z
，k为安全系数，表示飞行路径的安全宽容度，W为无人机机体宽度；若存在障碍物信息，则判定当前飞行路径存在障碍物，否则，判定当前飞行路径不存在障碍物。3.根据权利要求1所述的基于XR设备的眼动手势无人机操控方法，其特征在于，步骤S2还包括注视点预测结果去抖动步骤，对注视点预测结果进行平滑滤波，平滑滤波后的结果为：其中符合不等式不等式中，不等式中，表示预测...

【专利技术属性】
技术研发人员：白晓伟，张敬，胡永强，闫野，谢良，印二威，张亚坤，施忠臣，陈伟，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：