用于传输图像的方法、设备和无人机技术

提供了一种用于传输图像的方法、设备和无人机，该方法包括：获取一帧图像数据；对一帧图像数据进行编码，以获取第一编码图像数据；确定第一编码图像数据的传输延时；响应于第一编码图像数据的传输延时不在预设的范围内，对一帧图像数据进行再一次编码，以获取第二编码图像数据。基于第一次编码的编码结果，自适应决策对一帧图像进行单次还是多次编码，提高了帧级别的图像数据的编码方式的灵活性。

Method, apparatus, and unmanned aerial vehicle for transmitting images

Provides a method for image transmission equipment, and UAV, the method comprises: obtaining a frame of image data; encoding a frame of image data, to obtain the first encoding image data; determining the transmission delay of the first encoding of image data; in response to the first encoding image data transmission delay is not within a predetermined range again, encoding of an image data, to obtain second encoding image data. Based on the encoding result of the first encoding, the adaptive decision makes single or multiple encoding of an image, which improves the flexibility of the encoding of frame level image data.

【技术实现步骤摘要】
【国外来华专利技术】用于传输图像的方法、设备和无人机版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本专利技术实施例涉及图像处理领域，并且更具体地，涉及一种用于传输图像的方法、设备和无人机。
技术介绍
目前图像的传输过程大致如下：发送端采集一帧图像数据；发送端对该一帧图像数据进行编码，通过信道将编码后的图像数据发送至接收端，接收端对接收到的数据进行解码，得到该一帧图像数据。发送端在不同时间拍摄的场景或物体可能不同，因此，每帧图像数据对应的码流数据大小会实时变化(即信源会实时变化)；此外，受到收发端之间的距离、相对位置、是否存在遮挡、是否存在电磁干扰等因素的影响，收发端之间的信道带宽也会实时变化(即信道会实时变化)，信源信道的变化相互独立，难以预测。目前帧级别图像数据的编码方式(即每帧图像数据的编码方式)相对固定，难以适应实时变化的信源信道，缺乏有效的图像编码和图像传输方法，可能会在某些应用中降低图像传输设备的有用性。
技术实现思路
本专利技术实施例提供一种用于传输图像的方法、设备和无人机，以提高帧级别图像数据的编码方式的灵活性。第一方面，提供一种用于传输图像的方法，包括：获取一帧图像数据；对所述一帧图像数据进行编码，以获取第一编码图像数据；确定所述第一编码图像数据的传输延时；响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。第二方面，提供一种用于传输图像的设备，包括：获取模块，用于获取一帧图像数据；编码模块，用于对所述一帧图像数据进行编码，以获取第一编码图像数据；确定模块，用于确定所述第一编码图像数据的传输延时，所述编码模块还用于响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。第三方面，提供一种用于传输图像的设备，包括存储器和处理器，所述存储器用于存储程序代码，所述处理器通过执行所述程序代码执行以下操作：获取一帧图像数据；对所述一帧图像数据进行编码，以获取第一编码图像数据；确定所述第一编码图像数据的传输延时；响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。第四方面，提供一种无人机，包括：动力系统，用于为无人机提供飞行动力；拍摄设备，用于拍摄图像；如第三方面所述的设备，用于对所述拍摄设备拍摄获取的图像进行传输。第五方面，提供一种计算机可读介质，所述计算机可读介质存储用于编码器执行的程序代码，所述程序代码包括用于执行第一方面中的方法的指令。本专利技术实施例根据实际情况，判断第一编码图像数据的传输延时是否在预设的范围，来决定是否对同一帧图像数据进行再一次编码，即本专利技术实施例能够基于第一次编码的编码结果，自适应决策对一帧图像进行单次还是多次编码，克服了只对一帧图像进行一次编码，图像传输延时或图像质量无法保证的缺陷，提高了帧级别的图像数据的编码方式的灵活性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。图1是根据本专利技术实施例的无人机系统100的示意图。图2是信源和信道随时间变化的示例图。图3是本专利技术实施例提供的用于传输图像的方法的示意性流程图。图4是本专利技术一个实施例提供的第一次编码和再一次编码的码流数据大小示例图。图5是图4实施例提供的第一次编码和再一次编码对应的图像质量的示例图。图6是本专利技术另一实施例提供的第一次编码和再一次编码的码流数据大小示例图。图7是图6实施例提供的第一次编码和再一次编码对应的图像质量的示例图。图8是本专利技术另一实施例提供的用于传输图像的方法的示意性流程图。图9是本专利技术一个实施例的用于传输图像的设备的示意性结构图。图10是本专利技术另一实施例的用于传输图像的设备的示意性结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。如图1所示，图1是根据本专利技术实施例的无人机系统100的示意图。无人机系统100可以包括无人机101和控制终端102，其中无人机101可以包括飞行主体103、云台104以及拍摄设备105。在本实施例中，飞行主体103可以包括多个旋翼以及驱动旋翼转动的旋翼电机，由此提供无人机101飞行所需动力。拍摄设备105通过云台104搭载于飞行主体103上。拍摄设备105可用于在无人机101的飞行过程中进行图像或视频拍摄，拍摄设备105包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等。云台104可以为多轴传动及增稳系统，例如可以包括多个转动轴和云台电机。云台电机通过调整转动轴的转动角度来对拍摄设备105的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小拍摄设备105的抖动。控制终端102可以与无人机101进行通信，以实现与无人机101的数据交互，例如对无人机101的飞行控制、对拍摄设备105的控制。进一步地，控制终端102与无人机101之间的通信可以是无线通信。在一些实施例中，可以在无人机101和控制终端102之间提供直接通信或间接通信。控制终端102的实例可以包括但不限于：智能电话/手机、平板电脑、个人数字助理(PersonalDigitalAssistant，PDA)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HeadMountDevice，HMD)、头带)等。拍摄设备105在拍摄到图像数据之后，无人机101可以对图像数据进行编码，得到编码图像数据，然后将编码图像数据发送给控制终端102，控制终端102在接收到编码图像数据以后进行解码，并可以将解码后的图像数据显示在其配置的显示装置或者交互界面上。图像数据的传输延时的稳定性是衡量图传系统性能的重要指标，保证图像数据传输延时是保证接收端的视频图像流畅显示的基本条件，然而，在图像传输的过程中，信源、信道的实时变化会引起帧与帧之间传输延时的抖动，降低图传系统的性能，下面先结合图2，分别以信源变化和信道变化为例，详细描述帧级别的图像数据传输延时的抖动问题。图2包括场景一和场景二，在场景一中，发送端和接收端之间的信道的带宽保持稳定。在利用该信道传输图像数据的过程中，假设发送端的相机突然运动，或者相机拍摄范围内的物体突然快速移动，例如，在某一时刻，相机的拍摄对象是蓝色的天空，在下一时刻时，相机突然转向去拍摄在天空中飞行的五颜六色的热气球，导致帧4编码后对应的码流数据大小增加至帧3编码后对应的码流数据大小的两倍，即信源发生突然的变化，此时，帧4的传输延时会变为帧3的传输延时的两倍。在场景二中，每帧图像对应的码流数据大小基本保持稳定，即信源保持稳定。在传输图像数据的过程中，假设帧4对应的信道带宽突然降为帧3对应的信道带宽的一半，本文档来自技高网...

【技术保护点】
一种用于传输图像的方法，其特征在于，包括：获取一帧图像数据；对所述一帧图像数据进行编码，以获取第一编码图像数据；确定所述第一编码图像数据的传输延时；响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。

【技术特征摘要】
【国外来华专利技术】1.一种用于传输图像的方法，其特征在于，包括：获取一帧图像数据；对所述一帧图像数据进行编码，以获取第一编码图像数据；确定所述第一编码图像数据的传输延时；响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。2.根据权利要求1所述的方法，其特征在于，所述预设的范围是由传输所述一帧图像数据的目标延时和/或编码所述一帧图像数据所需的时间确定的。3.根据权利要求1或2所述的方法，其特征在于，所述对所述一帧图像数据进行编码包括：根据第一量化参数对所述一帧图像数据进行编码；所述对所述一帧图像数据进行再一次编码包括：确定不同于第一量化参数的第二量化参数；根据所述第二量化参数对所述一帧图像数据进行所述再一次编码。4.根据权利要求3所述的方法，其特征在于，所述确定不同于第一量化参数的第二量化参数包括：确定所述第二编码图像数据的期望的传输延时；根据所述期望的传输延时确定所述第二量化参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述期望的传输延时确定所述第二量化参数包括：根据所述期望的传输延时和当前的信道带宽确定所述第二编码图像数据的期望的码流数据的大小；根据所述期望的码流数据的大小确定所述第二量化参数。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码包括：响应于所述第一编码图像数据的传输延时大于或等于第一阈值，对所述一帧图像数据进行再一次编码，其中所述第一阈值由传输所述一帧图像数据的目标延时和/或编码所述一帧图像数据所需的时间确定。7.如权利要求6所述的方法，其特征在于，所述第一阈值为所述目标延时和所述编码所述一帧图像数据所需的时间之和。8.如权利要求1-7中任一项所述的方法，其特征在于，所述第二编码图像数据的传输延时和所述编码所述一帧图像数据所需的时间之和小于或等于所述目标延时。9.根据权利要求1-8中任一项所述的方法，其特征在于，所述响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码包括：响应于所述第一编码图像数据的传输延时小于或等于第二阈值，对所述一帧图像数据进行再一次编码，其中所述第二阈值由传输所述一帧图像数据的目标延时和/或编码所述一帧图像数据所需的时间确定。10.如权利要求9所述的方法，其特征在于，所述第二阈值为所述目标时延与所述编码所述一帧图像数据所需的时间之差。11.如权利要求1-10中任一项所述的方法，其特征在于，所述第二编码图像数据的传输延时和所述编码所述一帧图像数据所需的时间之和大于或等于所述目标延时和所述编码所述一帧图像数据所需的时间之差，且小于或等于目标延时。12.根据权利要求1-11中任一项所述的方法，其特征在于，所述确定所述第一编码图像数据的传输延时包括：根据所述第一编码图像数据的码流数据的大小和当前的信道带宽确定所述第一编码图像数据的传输延时。13.根据权利要求1-12中任一项所述的方法，其特征在于，所述方法还包括，响应于所述第一编码图像数据的传输延时在预设的范围内，传输所述第一编码图像数据。14.根据所述权利要求13所述方法，其特征在于，所述响应于所述第一编码图像数据的传输延时在预设的范围内，传输所述第一编码图像数据包括：响应于所述第一编码图像数据的传输延时小于或等于第一阈值，且大于或等于第二阈值，传输所述第一编码图像数据，其中所述第一阈值和第二阈值均是由传输所述一帧图像的目标延时和/或编码所述一帧图像所需的时间确定。15.一种用于传输图像的设备，其特征在于，包括：获取模块，用于获取一帧图像数据；编码模块，用于对所述一帧图像数据进行编码，以获取第一编码图像数据；确定模块，用于确定所述第一编码图像数据的传输延时；所述编码模块还用于响应于所述第一编码图像数据的传输延时不在预设的范围内，对所述一帧图像数据进行再一次编码，以获取第二编码图像数据。16.根据权利要求15所述的设备，其特征在于，所述预设的范围是由传输所述一帧图像数据的目标延时和/或编码所述一帧图像数据所需的时间确定的。17.根据权利要求15或16所述的设备，其特征在于，所述编码模块具体用于根据第一量化参数对所述一帧图像数据进行编码；所述对所述一帧图像数据进行再一次编码包括：确定不同于第一量化参数的第二量化参数；根据所述第二量化参数对所述一帧图像数据进行所述再一次编码。18.根据权利要求17所述的设备，其特征在于，所述确定模块具体用于确定所述第二编码图像数据的期望的传输延时；根据所述期望的传输延时确定所述第二量化参数。19.根据权利要求18所述的设备，其特征在于，所述确定模块具体用于根据所述期望的传输延时和当前的信道带宽确定所述第二编码图像数据的期望的码流数据的大小；根据所述期望的码流数据的大小确定所述第二量化参数。20.根据权利要求15-19中任一项所述的设备，其特征在于，所述编码模块具体用于响应于所述第一编码图像数据的传输延时大于或等于第一阈值，对所述一帧图像数据进行再一次编码，其中所述第一阈值由传输所述一帧图像数据的目标延时和/或编码所述一帧图像数据所需的时间确定。21.如权利要求20所述的设备，其特征在于，所述第一阈值为所述目标延时和所述编码所述一帧图像数据所需的时间之和。22.如权利要求15-21中任一项所述的设备，其特征在于，所述第二编码图像数据的传输延时和所述编码所述一帧图像数据...

【专利技术属性】
技术研发人员：朱磊，马宁，龚明，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44