包括使用姿态无关控制参数的前视相机的无人机制造技术

本发明专利技术涉及包括使用姿态无关控制参数(尤其是自动曝光控制)的前视相机的无人机。无人机包括相机(14)、测量无人机角度的惯性单元(46)、以及递送在由惯性单元测量的角度变化方向相对的方向上动态地位移的经缩减大小的移动捕捉区域的图像数据的提取器模块(52)。补偿器装置(52)接收当前无人机姿态数据作为输入，并动态地操作因变于捕捉区域中包含的图像数据来计算得到的成像参数(诸如，自动曝光、白平衡或自动聚焦)的当前值(54)。

【技术实现步骤摘要】

本专利技术涉及由远程驾驶的移动设备(此后称为“无人机”)，尤其是诸如飞行无人机或UAV(无人驾驶飞行器)等机动飞行器，的板载相机捕捉的数字图像的处理。然而，本专利技术不限于由飞行设备收集的图像；它还适用于由远程操作者控制的在地面上移动的轮式设备或者在水域上移动的漂浮设备，术语“无人机”必须被理解成其最一般的意义。本专利技术有利地应用于由旋翼无人机(诸如四旋翼直升机)的前置相机收集的图像。
技术介绍
法国巴黎ParrotSA公司的AR.Drone2.0或BebopDrone是这样的四螺旋桨直升机的典型示例。它们配备一系列传感器(加速度计、3轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机、以及捕捉飞过的地面的图像的俯视相机。它们设有由相应的马达驱动的多个旋翼，这些马达可以以不同模式控制，从而在姿态和速度方面驾驶该无人机。这样的无人机的各方面尤其在WO2010/061099A2、EP2364757A1、EP2613213A1或EP2613214A1(ParrotSA)中描述。TimothyMcDougal于2014年10月6日(XP055233862)发布在因特网上的题为“TheNewParrotBebopDrone:BuiltforStabilizedAerialVideo(新ParrotBebopDrone：为稳定化航空视频而造)”的论文具体描述了上述BebopDrone设备，它是配备有与图像稳定化和控制系统相关联的鱼眼镜头的无人机。前摄像机可被用于“沉浸模式”驾驶，即用户以如同他自己在无人机上一样的方式使用相机的图像。它也可用于捕捉无人机所朝向的场景的图像序列。因此，用户可以以相机或便携式相机将由无人机承载的相同方式来使用无人机而不是将其握在手中。所获取的图像可以被记录，随后广播，在视频序列主存网站上上线，发送给其他因特网用户，在社交网络上共享，等等。这些图像旨在被记录和传递，它们具有可能较少缺陷(尤其是由无人机的行为造成的缺陷)是合乎需要的：的确，无人机向前、向后、或向侧方的任何线性位移涉及无人机的倾斜，并且因此涉及由相机获取的图像的不合乎需要的对应移位、旋转、振动等效果，在实践中，这在显示给用户的最终图像中引入各种不合时宜的伪像。这些缺陷在“沉浸驾驶”配置中可能是可容忍的。另一方面，如果要使用无人机作为移动摄像机来捕捉将被记录并稍后呈现的序列，这些缺陷将极其麻烦，所以将它们降至最小是合乎需要的。在上述BebopDrone的情况下，后者实现配备有覆盖约180°视野的鱼眼型半球形物镜的相机，但该相机捕捉的视野的仅一部分被使用，这一部分大致对应于由常规相机捕捉的角扇区。为此，在传感器的表面处形成的总体半球形图像中选择特定窗口(此后称为“捕捉区域”)。这一窗口旋转且平移地移动，并且永久地因变于由惯性单元确定的无人机的移动并且在相对于这些移动的相反方向上来移位。当然，由鱼眼镜头获取的图像经历与常规相机相同的振动和旋转移动，但图像区域的位移被反馈控制以补偿这些移动并因此产生针对无人机的移动来稳定化的图像。捕捉区域的图像(更确切地是后者的有用部分)(此后称为“有用区域”)随后经受重投影处理以补偿由鱼眼镜头引入的几何失真：将由该镜头弯曲的直线变直，重建图像的中心和周界之间的均匀放大，等等。所获得的最终图像(“经变直的有用区域”)随后被传送给用户以显示在屏幕上、被记录，等等。因此，通过从在初始图像中在与无人机的移动相对的方向上动态地旋转和平移地移位的所捕捉的特定区域(捕捉区域)的总体场景中进行提取以消灭否则将在显示给用户的最终图像中观察到的振动，随后通过有用图像变直处理以获得没有几何失真也没有其他失真的场景的表示，来定义“虚拟相机”。这一技术在2015年10月21日发布的EP2933775A1(Parrot)中描述。类似技术在MiyauchiR等人的论文“DevelopmentofOmni-DirectionalImageStabilizationSystemUsingCameraPostureInformation(使用相机姿势信息的全向图像稳定系统的开发)”，2007IEEE机器人技术和仿生学国际会议会议录，2007年12月15-18日，第920-925页中描述，它提出了将这样的EIS(电子图像稳定化)技术应用于由配备有“鱼眼”型半球形物镜(即，覆盖约180°视野)的相机所捕捉的图像。原始图像被获取，经受变直处理(以补偿鱼眼失真)，并随后经受因变于携带相机的机器人的移动的动态开窗处理。该补偿通过在与要被补偿的移动相反的方向上将捕捉区域平移至获取区域来操作，所述传感器仅发送对应于经稳定的图像的子部分。本专利技术旨在消除在无人机的某些移动期间发生的特定缺陷。这一缺陷涉及动态控制相机的特定数量的操作参数，即由图像分析算法(诸如自动曝光算法(AE，基于对图像的不同点的亮度的分析)、自动白平衡(AWB，基于图像的不同点的色度分析)、或动态聚焦(AF，基于图像的不同点的对比度的分析)自动调整的参数。AE和AWB算法的示例可以在US2015/0222816A1中找到且AF算法的示例可以在US2013/0021520A1中找到。在以下描述中，将自动曝光控制当作典型的具体示例，但本专利技术被限于控制这一参数，并且如将理解的，可被应用于基于对图像的分析的其他参数的自动控制，诸如白平衡和聚焦。自动曝光(AE)算法的原理是为传感器选择配对{曝光时间，增益本文档来自技高网...

【技术保护点】
一种无人机(10)，包括：‑链接到无人机主体的相机(14)，包括：·指向相对于所述无人机主体的固定方向的鱼眼型半球形物镜；以及·收集由所述镜头形成的图像(I)并递送原始图像数据的数字传感器；‑惯性单元(16)，其被适配成测量表征所述无人机相对于绝对陆地参考系的即时姿态并递送当前无人机姿态数据作为输出的欧拉角‑提取器装置(52)，其被适配成在所述传感器的广度上形成的所述图像(I)中定义经缩减大小的捕捉区域(ZC)的位置；‑控制装置(48，50，52)，它接收所述当前无人机姿态数据作为输入，并被适配成在与由所述惯性单元测量到的角度值的变化方向相反的方向上动态地修改所述捕捉区域(ZC)在所述图像(I)中的位置和定向；以及‑‑重投影装置(52)，它接收从所述捕捉区域(ZC)提取的用户区域(ZUB)的图像数据作为输入并且递送对应的经变直的图像数据(ZUR)作为输出，补偿由所述鱼眼镜头引入的几何失真，其特征在于，所述相机(14)进一步包括：用于动态地控制以下各项之间的至少一个成像参数的装置：自动曝光、白平衡、以及自动聚焦，并且其特征在于，所述无人机进一步包括：‑分析装置，其被适配成在所述捕捉区域(ZC)中定义至少一个经缩减分辨率的缩略图，并因变于所述缩略图中包含的图像数据来递送(54)所述成像参数的当前值；以及‑补偿器装置(52)，所述装置接收由所述惯性单元递送的当前无人机姿态数据作为输入，并且被适配成因变于这些当前姿态数据以及由所述分析装置递送的所述成像参数的所述值，在与易于由所述无人机的姿态的即时变化造成的变化相反的方向上与所述分析装置动态地交互，以将所述成像参数保持为基本上独立于所述无人机的姿态的即时变化的值。...

【技术特征摘要】
2015.09.10 FR 15584201.一种无人机(10)，包括：-链接到无人机主体的相机(14)，包括：·指向相对于所述无人机主体的固定方向的鱼眼型半球形物镜；以及·收集由所述镜头形成的图像(I)并递送原始图像数据的数字传感器；-惯性单元(16)，其被适配成测量表征所述无人机相对于绝对陆地参考系的即时姿态并递送当前无人机姿态数据作为输出的欧拉角-提取器装置(52)，其被适配成在所述传感器的广度上形成的所述图像(I)中定义经缩减大小的捕捉区域(ZC)的位置；-控制装置(48，50，52)，它接收所述当前无人机姿态数据作为输入，并被适配成在与由所述惯性单元测量到的角度值的变化方向相反的方向上动态地修改所述捕捉区域(ZC)在所述图像(I)中的位置和定向；以及--重投影装置(52)，它接收从所述捕捉区域(ZC)提取的用户区域(ZUB)的图像数据作为输入并且递送对应的经变直的图像数据(ZUR)作为输出，补偿由所述鱼眼镜头引入的几何失真，其特征在于，所述相机(14)进一步包括：用于动态地控制以下各项之间的至少一个成像参数的装置：自动曝光、白平衡、以及自动聚焦，并且其特征在于，所述无人机进一步包括：-分析装置，其被适配成在所述捕捉区域(ZC)中定义至少一个经缩减分辨率的缩略图，并因变于所述缩略图中包含的图像数据来递送(54)所述成像参数的当前值；以及-补偿器装置(52)，所述装置接收由所述惯性单元递送的当前无人机姿态数据作为输入，并且被适配成因变于这些当前姿态数据以及由所述分析装置递送的所述成像参数的所述值，在与易于由所述无人机的姿态的即时变化造成的变化相反的方向上与所述分析装置动态地交互，以将所述成像参数保持为基本上独立于所述无人机的姿态的即时变化的值。2.如权利要求1所述的无人机，其特征在于，所述分析装置被进一步适配成从来自所述捕捉区域(ZC)的缩略图中包含的所述图像数据中排除位于由所述镜头在所述传感器上形成的图像的区域之外(X)的原始图像数据。3.如权利要求1所述的无人机，其特征在于，所述补偿器装置接收来自由所述提取器装置递送的所述捕捉区域(ZC)的缩略图中包括的图像数据作为输入(104)。4.如权利要求3所述的无人机，其特征在于：-所述分析装置包括适配成在每一图像中动态地定义分布在所述捕捉区域(ZC)上的多个感兴趣区域ROI(ROI1、……、ROI...

【专利技术属性】
技术研发人员：A·贝利，B·波琼，
申请(专利权)人：鹦鹉无人机股份有限公司，
类型：发明
国别省市：法国;FR