【技术实现步骤摘要】
本专利技术涉及无人机控制，特别是一种实现手势识别的无人机远程控制系统及方法。
技术介绍
1、通信技术是其无人机系统的核心部分，旨在实现稳定和高效的无人机遥控与数据传输。现有技术中，无人机与地面站（例如，遥控器）之间主要采用2.4 ghz和5.8 ghz频段的无线信号传输。2.4 ghz频段提供更广的覆盖范围，但在高密度环境中可能受到其他设备（如wi-fi）的干扰；而5.8 ghz频段则在信号质量上表现更好，但覆盖范围相对较小。
2、为了应对变化的环境，现有地面站（例如，遥控器）采用了自适应调制技术，能够根据实时的信号质量动态调整数据传输速率。这种智能化的设计确保了在信号较差的情况下，仍能保持稳定的连接和数据传输。同时，现有地面站（例如，遥控器）支持高清视频传输，通过专有的数字视频传输协议（如ocusync协议），实现低延迟的实时画面反馈，极大提升了用户的飞行体验。
3、然而，现有无人机与地面站（例如，遥控器）之间的遥控与数据传输存在一些明显的缺点：
4、（1）无人机遥控与数据传输存在技术壁垒，无法移植到更广泛的无人机上，即无法通用所有无人机的遥控与数据传输。
5、（2）通信距离有限，超出无人机遥控的范围后，无人机将无法被控制信号也容易受到建筑物的干扰。
6、（3）、随着无人机与地面站（例如，遥控器）之间距离的增加，传输速率也会下降，距离越大则无人机控制的延迟或者无人机实时画面的延迟越大。
7、现有技术中也存在一些使用4g/5g通信的方式来实现无人机与地面站（
技术实现思路
1、本专利技术提出了一种实现手势识别的无人机远程控制系统及方法，以解决无人机远程控制进行巡检时，无法实现无人机远程手势识别，导致无人机远程巡检效率低，巡检准确率低，出现巡检错误的技术问题。
2、本专利技术的一个方面在于提供一种实现手势识别的无人机远程控制系统，其特征在于，所述无人机远程控制系统，包括：
3、部署在无人机上的边缘计算机和相机、部署在中转站的中转服务器，以及配置在地面站的地面站应用端；
4、其中，所述边缘计算机配置无人机系统和python服务系统，所述python服务系统集成识别模型；
5、所述无人机系统，用于获取相机拍摄的第一视频流，对第一视频流抽取第一单帧图像，并将第一单帧图像发送至所述识别模型；
6、所述识别模型，用于对第一单帧图像进行人体位置检测，并将人体位置检测结果返回至所述无人机系统；
7、所述无人机系统，还用于根据人体位置检测结果控制无人机移动，使人体位于相机镜头的中间位置；
8、当人体位于相机镜头的中间位置后，所述无人机系统获取相机拍摄的第二视频流，对第二视频流抽取第二单帧图像，并将第二单帧图像发送至所述识别模型；
9、所述识别模型，还用于对第二单帧图像中人体的手势进行手势识别，生成识别结果，并将识别结果返回至所述无人机系统；
10、所述无人机系统，根据识别结果控制相机对人体进行拍照生成手势识别图像，并获取相机拍摄的手势识别图像发送至所述python服务系统；
11、其中，所述中转服务器，至少配置java服务端；所述java服务端，用于获取所述python服务系统的手势识别图像，并将手势识别图像发送至所述地面站应用端。
12、在一个优选的实施例中，当所述识别模型对第二单帧图像中人体的手势进行手势识别，生成的识别结果是指定手势；
13、则所述无人机系统控制相机对人体进行拍照生成手势识别图像，并获取相机拍摄的手势识别图像；
14、当所述识别模型对第二单帧图像中人体的手势进行手势识别，生成的识别结果不是指定手势；
15、则所述无人机系统不控制相机对人体进行拍照。
16、在一个优选的实施例中，所述中转服务器还配置srs流媒体服务端；
17、所述无人机系统，将获取的第一视频流和/或第二视频流推送至所述srs流媒体服务端；所述地面站应用端拉取所述srs流媒体服务端上的第一视频流和/或第二视频流，并实时进行视频播放。
18、在一个优选的实施例中，所述中转服务器还配置mqtt服务端；
19、所述无人机系统，还用于获取无人机状态信息，并将无人机状态信息发送至所述mqtt服务端；
20、所述mqtt服务端，用于获取所述无人机系统发送的无人机状态信息；
21、所述java服务端，还用于订阅所述mqtt服务端获取的无人机状态信息，并将无人机状态信息发送至所述地面站应用端。
22、在一个优选的实施例中，所述地面站应用端，用于触发控制请求，并将控制请求发送至所述java服务端；
23、所述java服务端，对所述控制请求封装成mqtt指令，并将mqtt指令发送至所述mqtt服务端；
24、所述无人机系统，订阅所述mqtt服务端的mqtt指令，根据mqtt指令控制无人机执行控制请求。
25、在一个优选的实施例中，所述java服务端对封装的mqtt指令指定mqtt主题，将mqtt主题发送至所述mqtt服务端；
26、所述mqtt服务端获取mqtt主题，并对mqtt主题进行解析，得到mqtt指令。
27、本专利技术的另一个方面在于提供一种实现手势识别的无人机远程控制方法，使用本专利技术提供的一种实现手势识别的无人机远程控制系统进行手势识别，包括如下方法步骤：
28、s1、地面站应用端触发控制请求，并将控制请求发送至中转服务器的java服务端；其中，控制请求包括指定手势；
29、s2、java服务端，对控制请求封装成mqtt指令，并将mqtt指令发送至mqtt服务端；
30、无人机系统，订阅mqtt服务端的mqtt指令，根据mqtt指令控制无人机执行控制请求；其中，无人机系统将控制请求中的指定手势发送至识别模型；
31、s3、无人机系统，获取相机拍摄的第一视频流，对第一视频流抽取第一单帧图像，并将第一单帧图像发送至识别模型；
32、识别模型，对第一单帧图像进行人体位置检测，并将人体位置检测结果返回至无人机系统；
33、无人机系统，根据人体位置检测结果控制无人机移动，使人体位于相机镜头的中间位置；
34、s4、当人体位于相机镜头的中间位置后，无人机系统获取相机拍摄的第二视频流，对第二视频流抽取第二单帧图像，并将第二单帧图像发送至识别模型；
35、识别模型，对第二单帧图像中人体的手势进行手势识别，生成识别结果，并将识别结果返回至无人机系统；
36、无人机系统，本文档来自技高网...
【技术保护点】
1.一种实现手势识别的无人机远程控制系统，其特征在于，所述无人机远程控制系统，包括：
2.根据权利要求1所述的无人机远程控制系统，其特征在于，当所述识别模型对第二单帧图像中人体的手势进行手势识别，生成的识别结果是指定手势；
3.根据权利要求1所述的无人机远程控制系统，其特征在于，所述中转服务器还配置SRS流媒体服务端；
4.根据权利要求1所述的无人机远程控制系统，其特征在于，所述中转服务器还配置MQTT服务端；
5.根据权利要求4所述的无人机远程控制系统，其特征在于，所述地面站应用端，用于触发控制请求，并将控制请求发送至所述Java服务端；
6.根据权利要求5所述的无人机远程控制系统，其特征在于，所述Java服务端对封装的MQTT指令指定MQTT主题，将MQTT主题发送至所述MQTT服务端；
7.一种实现手势识别的无人机远程控制方法，其特征在于，使用权利要求1至6中任一权利要求所述的无人机远程控制系统进行手势识别，包括如下方法步骤：
8.根据权利要求7所述的无人机远程控制方法，其特征在于，在步骤S
9.根据权利要求7所述的无人机远程控制方法，其特征在于，在步骤S1中，地面站应用端触发的控制请求，还包括控制无人机起飞、降落、飞行、悬停、拍摄视频流的控制信号；
10.根据权利要求7所述的无人机远程控制方法，其特征在于，所述无人机远程控制方法还包括：
11.根据权利要求8所述的无人机远程控制方法，其特征在于，所述无人机远程控制方法还包括：
...【技术特征摘要】
1.一种实现手势识别的无人机远程控制系统，其特征在于，所述无人机远程控制系统，包括：
2.根据权利要求1所述的无人机远程控制系统，其特征在于，当所述识别模型对第二单帧图像中人体的手势进行手势识别，生成的识别结果是指定手势；
3.根据权利要求1所述的无人机远程控制系统，其特征在于，所述中转服务器还配置srs流媒体服务端；
4.根据权利要求1所述的无人机远程控制系统，其特征在于，所述中转服务器还配置mqtt服务端；
5.根据权利要求4所述的无人机远程控制系统，其特征在于，所述地面站应用端，用于触发控制请求，并将控制请求发送至所述java服务端；
6.根据权利要求5所述的无人机远程控制系统，其特征在于，所述java服务端对封装的mqtt指令指定mqtt主题，将mqtt主题...
【专利技术属性】
技术研发人员：凌松，
申请(专利权)人：上海岩芯数智人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。