编码和解码无人机的视频的方法以及相关联的设备技术

本发明专利技术涉及在无人机中实现的一种将飞行数据动态地编码在视频中的方法，该无人机包括视频传感器和姿态传感器和/或高度传感器。这一方法包括，对于所捕捉的连贯图像，从姿态传感器和/或高度传感器捕捉无人机的飞行数据的步骤(E22)；以及编码所捕捉的图像的步骤(E23)。它进一步包括将经编码图像存储在数据容器中的步骤(E24)，在数据容器中将所捕捉的飞行数据的全部或部分添加到经编码图像的步骤(E25)，以及将所述数据容器存储在无人机(10)的存储器中的步骤(E26)，和/或由无人机(10)将所述数据容器传输到远程设备(16)的步骤(E27)。视频图像的编码包括MPEG‑4编码(ISO/IEC 14496)，并且数据容器是根据MPEG‑4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。

Method for encoding and decoding video of unmanned aerial vehicle, and associated equipment

The present invention relates to a method for dynamically encoding flight data in a video in a UAV comprising a video sensor and a gesture sensor and / or a height sensor. The method includes the steps (E22) for capturing the drone's flight data from a gesture sensor and / or a height sensor for the captured coherent image; and encoding the captured image (E23). It further comprises the step of encoding the image data stored in the container (E24), the flight data captured in the data of all or part of the container will be added to the image encoding step (E25), and the data stored in the UAV container (10) in the memory of the step (E26). And / or by UAV (10) the data transmitted to the remote device container (16) steps (E27). Video image encoding including MPEG encoding 4 (ISO/IEC 14496), and the data is based on the MPEG 4 container twelfth part of the trajectory, flight data according to the encoding clock multiplexing public image and the associated.

【技术实现步骤摘要】
编码和解码无人机的视频的方法以及相关联的设备
本专利技术涉及在无人机中实现的一种将飞行数据动态地编码在视频中的方法，以及具有包括这样的编码方法的机载相机以及其他传感器的无人机。本专利技术还涉及视频解码方法和包括这样的解码方法的可视化设备。
技术介绍
Parrot(鹦鹉)公司的BebopDrone和Disco或SenseFLy公司的eBee是无人机的典型示例。它们配备有一系列传感器(加速度计、3轴陀螺仪、高度计)以及至少一个相机。这一相机是例如捕捉所飞过的地形的图像的俯视相机或捕捉无人机所指向的场景的图像的前视相机。这些无人机设有一个电机或由相应电机驱动的若干旋翼，这些电机被适配成能以不同方式控制以在姿态和速度方面驾驶该无人机。无人机的其他示例是诸如Parrot的JumpingSumoMiniDrone等滚动无人机以及诸如Parrot的Hydrofoil无人机等漂浮无人机。前摄像机可被用于无人机的“沉浸模式”驾驶，即操作者以如同他自己在无人机上一样的方式使用相机的图像。它还可用于捕捉该无人机所指向的场景的图像序列，操作者以与相机被无人机运载相同的方式(代替被拿在手中)来使用无人机。所收集的图像可以被记录，在网站上上线，发送给其他因特网用户，在社交网络上共享，等等。WO2010/061099A2、EP2364757A1以及EP2450862A1(Parrot)描述了通过具有集成加速度计的触摸屏多媒体电话或平板(例如，iPhone型智能电话或iPad型平板(注册商标))来驾驶无人机的原理。在本说明书下文中，术语“驾驶设备”一般将用来指示这一装置，但这一术语不必以其狭窄含义来理解；相反，它还包括功能上等效的设备，尤其是配备有至少一个可视化屏幕以及无线数据交换装置的所有便携式设备(诸如智能电话，等等)。驾驶设备包括用于经由与无人机直接建立的Wi-Fi(IEEE802.11)或蓝牙无线局域网类型的无线电链路来检测驾驶命令以及双向数据交换所需要的各种控制元件。其触摸屏显示无人机的前相机所捕捉的图像，叠加有允许通过操作者的手指在这一触摸屏上的简单接触来控制飞行以及激活命令的多个符号。双向无线无线电链路包括用于传送包含以下各项的数据帧的上行链路(从驾驶设备到无人机)以及下行链路(从无人机到平板)：(从驾驶设备到无人机)以规则间距且在系统基础上发送的驾驶命令，此后简称为“命令；”(从无人机到驾驶设备)来自相机的视频流；以及(从无人机到驾驶设备)在需要时，由无人机确立的飞行数据或状态指示符，诸如：电池水平、飞行阶段(起飞、自动稳定化、着陆在地面上，等等)、高度、检测到的故障，等等。为允许这样的通信，无人机包括连接到天线以允许与驾驶设备进行通信的通信装置。该天线例如是WiFi天线。本专利技术更具体地涉及一种动态地编码由无人机机载相机捕捉的图像序列中的图像的方法，该编码使用图像捕捉的上下文，这些图像被存储以便例如后验地重构由前相机所看到的场景的或要被发送以由操作者在设备上看到以用于按“沉浸模式”驾驶无人机的视频。用于将视频图像存储在无人机中以用于后验分析的方法是已知的。同样，存储无人机飞行上下文信息是已知的。然而，这些解决方案具有如下缺点：使用飞行信息的集成来进行飞行视频的重构是不容易的并且因此结果可能是低质量的。因为有必要从所存储的图像序列中以及从与图像序列不相关的飞行上下文信息中重构视频，所以这一重构更加困难。GB2519645A描述了一种用于监视森林火情的无人机。这一无人机向地面站分开地发送视频流和GPS数据，地面站随后将这一信息组合在连贯分组中，以允许经由分组交换网络传输到远程监视中心。以此方式，在无人机传输之后，由远程站在上游操作将飞行数据(GPS数据)添加到经编码的图像中。
技术实现思路
本专利技术的目标是，通过提出一种允许特别地编码所捕捉的图像以及相关联的信息以例如后验地创建使用无人机飞行信息来上下文化的视频的技术，来补救现有解决方案的缺陷。以此方式，本专利技术提出了一种在无人机中实现的将飞行数据动态地编码在视频中的方法，该无人机包括视频传感器和姿态传感器和/或高度传感器。如上述GB2519645A所公开的，该方法包括，对于所捕捉的连贯图像，从姿态传感器和/或高度传感器捕捉无人机的飞行数据的步骤；以及编码所捕捉的图像的步骤。其特征在于，该编码方法还包括：将经编码图像存储在数据容器中的步骤；在所述数据容器中将所捕捉的飞行数据的全部或部分添加到经编码图像的步骤；以及将所述数据容器存储在无人机的存储器中和/或由无人机将所述数据容器传输到远程设备的步骤。非常有利地，编码所述视频图像的步骤包括MPEG-4编码(ISO/IEC14496)，并且所述数据容器是根据MPEG-4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。所捕捉的飞行数据具体可包括由以下各项形成的编组的数据：无人机姿态数据、无人机高度数据、无人机地理位置数据、与飞行阶段相关的信息、飞行速度和/或所述视频传感器的可视化窗口的位置。本专利技术还提出了一种在无人机视频解码或可视化设备中实现的视频解码方法，该视频包括一起存储在数据容器中的多个连贯经编码图像和飞行数据。其特征在于，这一方法包括，对于经编码图像：从所述容器提取经编码图像的步骤；解码所提取的图像的步骤；以及提取与所述图像相关联的飞行数据的步骤。本专利技术还提出了一种包括视频传感器和姿态传感器和/或高度传感器的无人机，其被适配成实现根据所描述的专利技术的编码方法。本专利技术还提出了一种无人机驾驶设备，包括用于驾驶无人机的装置以及适配成发送飞行命令并接收来自所述无人机的数据的用于与所述无人机通信的装置。驾驶设备包括：用于从所述无人机接收包括一起存储在数据容器中的多个经编码图像和飞行数据的视频的装置；以及用于实现根据所描述的专利技术的解码方法的装置。本专利技术还提出了一种无人机视频解码设备，所述视频包括一起存储在数据容器中的多个经编码图像和飞行数据，所述设备包括适配成实现根据所描述的专利技术的解码方法的装置。附图说明现在将参考附图描述本专利技术的实现的示例。图1是示出无人机以及相关联的允许其驾驶的相关联的驾驶设备的总体示图。图2解说了根据本专利技术的将飞行数据动态地编码在视频中的方法。图3解说了根据本专利技术的视频解码方法。具体实施方式现在将描述本专利技术的实现的示例。在图1中，附图标记10一般表示无人机，它例如是诸如Parrot公司的型号BebopDrone等四螺旋桨直升机。这一无人机包括四个共面旋翼12，这些旋翼的电机由集成的导航与姿态控制系统独立地驾驶。本专利技术还适应于帆翼型无人机(诸如Parrot的Disco、SenseFly的eBee)或滚动型无人机(诸如Parrot的JumpingSumoMiniDrone)或漂浮型无人机(诸如Parrot的Hydrofoil无人机)。该无人机配置有前视视频传感器14，从而允许获得该无人机所指向的场景的图像。该无人机还包括指向下的俯视视频传感器(未示出)，其适配成捕捉所飞过的地形的连续图像并且特别地用于估算无人机相对地面的速度。惯性传感器(加速度计和陀螺仪)允许以某一准确度来测量无人机的角速度和姿态角，即描述无人机相对于固定陆地参考系的水平面的倾斜的欧拉角(俯仰滚转θ以及偏航ψ)。此外，安排在无人机本文档来自技高网...

【技术保护点】
一种在无人机中实现的将飞行数据动态地编码在视频中的方法，所述无人机包括视频传感器和姿态传感器和/或高度传感器，这一方法包括对于所捕捉的连贯图像：从所述姿态传感器和/或所述高度传感器捕捉所述无人机的飞行数据的步骤(E22)；以及编码所捕捉的图像的步骤(E23)，其特征在于，所述方法还包括：将经编码图像存储在数据容器中的步骤(E24)；在所述数据容器中将所捕捉的飞行数据的全部或部分添加到所述经编码图像的步骤(E25)；以及将所述数据容器存储在所述无人机(10)的存储器中的步骤(E26)和/或由所述无人机(10)将所述数据容器传输到远程设备(16)的步骤(E27)。

【技术特征摘要】
2016.03.09 FR 16519651.一种在无人机中实现的将飞行数据动态地编码在视频中的方法，所述无人机包括视频传感器和姿态传感器和/或高度传感器，这一方法包括对于所捕捉的连贯图像：从所述姿态传感器和/或所述高度传感器捕捉所述无人机的飞行数据的步骤(E22)；以及编码所捕捉的图像的步骤(E23)，其特征在于，所述方法还包括：将经编码图像存储在数据容器中的步骤(E24)；在所述数据容器中将所捕捉的飞行数据的全部或部分添加到所述经编码图像的步骤(E25)；以及将所述数据容器存储在所述无人机(10)的存储器中的步骤(E26)和/或由所述无人机(10)将所述数据容器传输到远程设备(16)的步骤(E27)。2.如权利要求1所述的编码方法，其特征在于，编码所述视频图像的步骤包括MPEG-4编码(ISO/IEC14496)，以及所述数据容器是根据MPEG-4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。3.如权利要求1所述的编码方法，其特征在于，所捕捉的飞行数据包括由如下各项形成的编组的数据：无人机姿态数据、无人机高度数...

【专利技术属性】
技术研发人员：A·巴雷，J·博瓦德，H·塞杜，
申请(专利权)人：鹦鹉无人机股份有限公司，
类型：发明
国别省市：法国,FR