航拍图像处理方法、无人机、头戴显示设备及系统技术方案

本发明专利技术提供了一种航拍图像处理方法、无人机、头戴显示设备及系统，该航拍图像处理方法包括：获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；将所述视场角的图像发送至所述头戴显示设备。利用本发明专利技术，可以消除由于图像传输的时间延迟导致用户眩晕的问题。

【技术实现步骤摘要】

本专利技术涉及无人机视频图像处理技术，具体涉及一种航拍图像处理及获取方法、无人机、头戴显示设备及系统。
技术介绍
在无人机航拍过程中，通过全景第一人称视角(FirstPersonView，简称为FPV)的方式，操作者可实时的沉浸式体验航拍视角，并通过头戴显示设备(如虚拟现实(VirtualReality简称为VR)头盔)内部的加速度传感器将头部转动信息实时发送给飞机上的云台等镜头控制单元，让镜头跟着操作者的头部运动方向运动，使操作者可自由控制其在空中的视角。无人机接收到头戴显示设备传来的姿态信息后，要通过控制云台的电机运作使镜头完成相应的姿态变换动作，以切换到操作者期望的视角上。但是，由于机电转换过程中存在延迟问题，目前无法将镜头的反应延迟缩短至100ms以内，因此操作者在转动头部时，会感觉到头戴显示设备显示屏上接收到的航拍视频存在延迟，一般操作者在操作1～2分钟后，可能会由于神经反馈紊乱的原因而发生眩晕现象，因而导致这种全景FPV的模式很难推广开来成为常规的无人机操作及航拍的模式。
技术实现思路
本专利技术提供一种航拍图像处理方法，包括：获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；将所述视场角的图像发送至所述头戴显示设备。本专利技术提供一种无人机，包括：信息获取单元，用于获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；图像截取单元，用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；图像发送单元，用于将所述视场角的图像发送至所述头戴显示设备。本专利技术提供一种航拍图像获取方法，包括：确定视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；将所述视野变化坐标发送至无人机；接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。本专利技术提供一种头戴显示设备，包括：信息确定单元，用于确定视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；信息发送单元，用于将所述视野变化坐标发送至无人机；图像接收单元，用于接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。本专利技术提供一种航拍系统，包括：无人机及头戴显示设备，所述无人机与头戴显示设备无线连接；所述头戴显示设备用于确定视野变化坐标，并将所述视野变化坐标发送至无人机，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；所述无人机用于接收所述视野变化坐标，从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像，并将所述视场角的图像发送至所述头戴显示设备；所述头戴显示设备接收所述视场角的图像并显示。本专利技术实施例中，可以消除由于图像传输的时间延迟导致用户眩晕的问题。当然实施本申请的任一产品或者方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例的应用场景示意图；图2为本专利技术一实施例的航拍图像处理方法流程图；图3为本专利技术实施例的视野变化坐标确定方法流程图；图4为本专利技术实施例的头戴显示设备的结构示意图；图5为本专利技术实施例的信息确定单元的结构框图；图6为本专利技术实施例的坐标确定模块的结构框图；图7为本专利技术实施例的航拍图像处理方法流程图；图8为本专利技术实施例的无人机的结构示意图；图9为本专利技术实施例的图像截取单元的结构示意图；图10为本专利技术实施例的航拍系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例的应用场景示意图。本专利技术实施例的技术方案可以在无人机101与头戴显示设备102之间实现相关操作。现有技术中在实现相关操作时，头戴显示设备102通过其上的传感部件测量姿态信息并传输至无人机101，无人机101接收到头戴显示设备传来的姿态信息后，要通过控制云台的电机运作使镜头完成相应的姿态变换动作，以切换到操作者期望的视角上。但是，由于机电转换过程中存在延迟问题，佩戴头戴显示设备的操作者在转动头部时，会感觉到头戴显示设备的显示屏上接收到的航拍视频存在延迟，从而发生眩晕现象。基于此，本专利技术通过头戴显示设备102确定用户的视野变化坐标并传输给无人机101，无人机101根据视野变化坐标从图像中抽取用户欲观看的图像部分，然后再进行将图像传输给头戴显示设备102，可以改善图像传输的延迟问题，其中，该无人机101可以为固定翼飞机或者为多旋翼飞机。图2是本申请提出的航拍图像处理方法的一种实施例的方法流程图，虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。图2为本专利技术实施例的航拍图像处理方法流程图，如图2所示，该航拍图像处理方法可以包括如下步骤：S201：确定视野变化坐标；S202：将所述视野变化坐标发送至无人机；S203：接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。图1所示航拍图像处理方法的执行主体可以为头戴显示设备，由图1所示的流程可知，本专利技术中，头戴显示设备通过确定用户的视野变化坐标，发送给无人机，并接收无人机根据视野变化坐标从拍摄图像中截取的视场角的图像，最后将该图像显示于头戴显示设备的显示屏上。这样，本实施例的延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长，总延迟时间较小，可以消除用户眩晕。本专利技术实施例中，视野变化坐标用于指示佩戴所述头戴显示设备的用户的视野变化，基于该视野变化坐标，无人机才能从无人机获得视野变化坐标对应的视场角的图像。一实施例中，如图3所示，确定视野变化坐标，包括如下步骤：S301：获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息。姿态传感部件可以用于测量头戴显示设备处于初始姿态以及处于实时姿态时的姿态信息，姿态传感部件包括加速度传感器以及陀螺仪至少之一。一实施例中，初始姿态信息及实时姿态信息均可以包括头戴显示设备的显示屏的关键点坐标，显示屏可以至少为以下其中之一：显示屏为矩形，关键点坐标包括矩形的四个本文档来自技高网...

【技术保护点】
一种航拍图像处理方法，其特征在于，包括：获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；将所述视场角的图像发送至所述头戴显示设备。

【技术特征摘要】
1.一种航拍图像处理方法，其特征在于，包括：获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；将所述视场角的图像发送至所述头戴显示设备。2.根据权利要求1所述的航拍图像处理方法，其特征在于，从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像，包括：获取所述无人机拍摄的图像，并从所述无人机拍摄的图像中截取与所述述视野变化坐标对应的视场角的图像，所述图像为全景图像。3.根据权利要求2所述的航拍图像处理方法，其特征在于，获取所述无人机拍摄的图像，包括：根据所述无人机上的摄像头的采样间隔以及接收到所述视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。4.一种无人机，其特征在于，包括：信息获取单元，用于获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；图像截取单元，用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；图像发送单元，用于将所述视场角的图像发送至所述头戴显示设备。5.根据权利要求4所述的无人机，其特征在于，所述图像截取单元包括：图像获取模块，用于获取所述无人机拍摄的图像，所述图像为全景图像；图像截取模块，用于从获取所述图像中截取与所述述视野变化坐标对应的视场角的图像。6.根据权利要求5所述的无人机，其特征在于，所述图像获取模块具体用于：根据所述无人机上的摄像头的采样间隔以及接收到所述视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。7.一种航拍图像处理方法，其特征在于，包括：确定视野变化坐标，其中，所述视野变化坐标指示佩戴头戴显示设备的用户的视野变化；将所述视野变化坐标发送至无人机；接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。8.根据权利要求7所述的航拍图像处理方法，确定视野变化坐标，包括：获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息；依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。9.根据权利要求8所述的航拍图像处理方法，其特征在于，所述姿态传感部件包括以下至少之一：加速度传感器以及陀螺仪。10.根据权利要求8所述的航拍图像处理方法，其特征在于，依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标包括：在所述头戴显示设备处于初始姿态时标定当前视野的预设关键点坐标，同时获取所述初始姿态信息；依据所述初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量，其中，所述预设...

【专利技术属性】
技术研发人员：程晓磊，杨建军，
申请(专利权)人：零度智控北京智能科技有限公司，
类型：发明
国别省市：北京;11