使用高帧率辅助成像元件使相机移动设备稳定制造技术

一种相机设备(110)的稳定图像捕获的方法。该方法包括：以辅助帧率并使用与相机设备(110)刚性耦合的辅助成像元件(112)捕获附接到对象(142)的光源(143)的辅助图像，其中，所述辅助帧率超过图像捕获的相机帧率(步骤1211)，在对应的辅助图像中，检测所述光源(143)的多个位置中的每个位置(步骤1212)，分析所述多个位置以生成不受控运动的度量(步骤1213)，以及至少基于所述不受控运动的度量，在由相机设备(110)以相机帧率对所述对象进行图像捕获期间调整所述相机设备(110)(步骤1214)。

【技术实现步骤摘要】
【国外来华专利技术】使用高帧率辅助成像元件使相机移动设备稳定
技术介绍
视场(FOV)是由相机成像的场景的范围。FOV内部的对象将出现在相机捕获和/或输出的图像中。例如，FOV可对应于相机镜头将输入到相机的光学传感器的光透射到其中的立体角。在使用手持式相机进行图像捕获期间，相机的运动经常会导致被捕获图像中对象位置的意外变化。相机用户的手抖经常会导致图像或视频模糊或散焦。稳定器(gimbal)或稳定器(stabilizer)用于在图像捕获过程中稳定相机设备。这样的解决方案需要两个或更多个运动传感器，例如陀螺仪、以及相关联的电子电路，以获得用于计算控制信号的信息，从而校正用户手抖。运动传感器和相关的电子电路增加了制造成本和产品尺寸。
技术实现思路
总体上，一方面，本专利技术涉及一种相机设备的稳定图像捕获的方法。该方法包括以辅助帧率并使用与相机设备刚性耦合的辅助成像元件捕获附接于对象的光源的辅助图像序列(pluralityofauxiliaryimages)，其中所述辅助帧率超过图像捕获的相机帧率；在所述辅助图像序列中的相应图像中检测所述光源的多个位置(pluralityoflocations)中的每个位置；分析所述多个位置以生成不受控运动的度量；以及至少基于所述不受控运动的度量，在由相机设备以相机帧率对所述对象进行图像捕获期间，调整所述相机设备。总体上，在一个方面，本专利技术涉及一种用于稳定图像捕获的稳定的相机设备支架(holder)。该稳定的相机设备支架包括：计算机处理器、存储指令的存储器，当被执行时，所述指令使所述计算机处理器执行以下操作：从与相机设备刚性耦合的辅助成像元件接收附接到对象的光源的辅助图像序列，其中，所述辅助图像序列由所述辅助成像元件以辅助帧率捕获，辅助帧率超过所述图像捕获的相机帧率；在辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；分析所述多个位置以生成不受控运动的度量；和至少基于所述不受控运动的度量，在相机设备以相机帧率进行所述对象的图像捕获期间调整所述相机设备；以及至少一台电机，其被配置为：至少基于所述不受控运动的度量，在相机设备以相机帧率进行所述对象的图像捕获期间调整所述相机设备。总体上，一方面，本专利技术涉及一种用于稳定图像捕获的稳定控制器设备。该稳定控制器设备包括计算机处理器和存储指令的存储器，当被执行时，所述指令使所述计算机处理器执行以下操作：从与相机设备刚性耦合的辅助成像元件接收附接到对象的光源的辅助图像，其中，所述辅助图像序列由所述辅助成像元件以辅助帧率捕获，辅助帧率超过所述图像捕获的相机帧率；在辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；分析所述多个位置以生成不受控运动的度量；以及至少基于所述不受控运动的度量，在由相机设备以相机帧率进行所述对象的图像捕获期间调整所述相机设备。总体上，一方面，本专利技术涉及一种非暂时性计算机可读介质，其存储用于稳定相机设备的图像捕获的指令，所述指令在由计算机处理器执行时包括以下功能：以辅助帧率并使用与所述相机设备刚性耦合的辅助成像元件捕获附接于对象的光源的辅助图像序列，其中，所述辅助帧率超过所述图像捕获的相机帧率；在所述辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；分析所述多个位置以生成不受控运动的度量；以及至少基于所述不受控运动的度量，在由相机设备以相机帧率对所述对象进行图像捕获期间，调整所述相机设备。通过以下描述和所附权利要求书，本专利技术的其他方面将变得显而易见。附图说明图1.1和1.2示出了根据本专利技术的一个或多个实施方案的系统的示意性框图。图1.3和1.4示出了根据本专利技术的一个或多个实施方案的示例图。图2.1和2.2示出了根据本专利技术的一个或多个实施方案的方法流程图。图3.1、3.2、3.3、3.4、3.5、4、5和6示出了根据本专利技术的一个或多个实施方案的各种示例。图7.1和7.2示出了根据本专利技术的一个或多个实施方案的计算系统。具体实施方式现在将参考附图详细描述本专利技术的特定实施方案。为了一致性，各个附图中的相同元件可以由相同的附图标记表示。在下面对本专利技术的实施方案的详细描述中，阐述了许多具体细节以便提供对本专利技术的更透彻的理解。然而，对于本领域的普通技术人员将显而易见的是，本专利技术可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述众所周知的特征，以避免不必要地使描述变得复杂。在以下描述中，在本专利技术的各种实施方案中，附图描述的任何组件可以等同于任何其他附图描述的一个或多个相同名称的组件。为了简洁起见，基于各种图例隐式地标识了这些组件的至少一部分。此外，将不再重复每个附图中关于这些组件的描述。因此，每个附图的组件的每个和每一个实施方案通过引用的方式并入，并假定为可选地存在于具有一个或多个相同名称的组件的每个其他附图中。另外，根据本专利技术的各种实施方案，对附图的组件的任何描述都将被解释为可选的实施方案，该可选的实施方案可以附加地、结合于或代替与其他任何附图中对应的类似名称的组件相关的实施方案而实现。在附图中，黑色实线共线点表示可以可选地存在与实线共线点之前和/或之后的组件相似的附加组件。此外，连接附图的各组件的实线或虚线表示所连接的组件之间的关系。虚线表示该关系可能不包括任何物理连接或物理元件或不与之相关联。在申请通篇中，序数(例如，第一、第二、第三等)可以用作元素(即，申请中的任何名词)的形容词。除非明确公开，例如通过使用术语“之前”，“之后”，“单个”和其他此类术语，否则序数的使用并不暗示或创建元素的任何特定顺序，也不意味着将任何元素限制为单个元素。相反，使用序数是为了区分元素。举例来说，第一元素不同于第二元素，并且第一元素可以包含一个以上的元素，并且可以按照元素的顺序在第二元素之后(或之前)。总体上，本专利技术的实施方案提供了一种用于在图像捕获期间稳定相机设备的方法、设备、系统和计算机可读介质。特别地，使用辅助成像元件捕获附接到对象的光源的辅助图像。辅助成像元件与相机设备刚性耦合，并且具有超过相机帧率的辅助帧率。检测并分析辅助图像中光源的位置，以生成不受控运动的度量。不受控运动的度量用于在由相机设备对对象进行图像捕获期间调整相机设备。在一个或多个实施方案中，通过基于不受控运动的度量生成控制信号来调整保持相机设备的稳定的相机设备支架，从而调整相机设备。特别地，不受控运动的度量可以表示当握持稳定的相机设备支架时用户的手抖。这样的调整减轻了由用户的手抖引起的相机设备的图像模糊。在一个或多个实施方案中，进一步分析在辅助图像中检测到的光源的位置，以产生受控运动的度量。在一个或多个实施方案中，进一步基于控制运动的度量来生成控制信号，以调整稳定的相机设备支架。特别地，受控运动的量度可以表示场景中对象的运动。这种调整允许稳定的相机设备支架跟踪对象的运动，使得对象出现在相机设备生成的图像中的目标位置。在一个或多个实施方案中，受控运动的量度用于减轻相机设备的滚动快门效应。图1.1示出了根据一个或多个实施方案的系统100。在一个或多个实施方本文档来自技高网...

【技术保护点】
1.一种相机设备的稳定图像捕获的方法，包括：/n以辅助帧率并使用与相机设备刚性耦合的辅助成像元件捕获附接到对象的光源的辅助图像序列，其中，所述辅助帧率超过图像捕获的相机帧率；/n在所述辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；/n通过硬件处理器分析所述多个位置以生成不受控运动的度量；以及/n至少基于所述不受控运动的度量，在由相机设备以相机帧率对所述对象进行图像捕获期间调整所述相机设备。/n

【技术特征摘要】
【国外来华专利技术】1.一种相机设备的稳定图像捕获的方法，包括：
以辅助帧率并使用与相机设备刚性耦合的辅助成像元件捕获附接到对象的光源的辅助图像序列，其中，所述辅助帧率超过图像捕获的相机帧率；
在所述辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；
通过硬件处理器分析所述多个位置以生成不受控运动的度量；以及
至少基于所述不受控运动的度量，在由相机设备以相机帧率对所述对象进行图像捕获期间调整所述相机设备。


2.根据权利要求1所述的方法，
其中，所述不受控运动的度量表示在所述辅助图像序列上的所述对象的预测轨迹的偏差。


3.根据权利要求2所述的方法，其中，分析所述多个位置包括：
至少通过将曲线拟合算法应用于所述多个位置来确定所述预测轨迹。


4.根据权利要求3所述的方法，还包括：
分析所述多个位置以生成受控运动的度量，
其中，所述受控运动的度量表示所述对象在所述辅助图像序列上的预测轨迹。


5.根据权利要求4所述的方法，还包括：
基于所述受控运动的度量，减轻所述图像捕获的滚动快门效应。


6.根据权利要求4所述的方法，还包括：
基于所述不受控运动的度量和所述受控运动的度量，生成控制信号，
其中，所述控制信号在所述图像捕获期间调整所述相机设备的视场，以执行选自由基于所述不受控运动的图像稳定和基于所述受控运动的对象跟踪组成的组中的至少一个。


7.根据权利要求6所述的方法，还包括：
在所述图像捕获期间，将所述控制信号发送到保持相机设备的相机设备支架，其中，所述控制信号包括选自由旋转控制信号、倾斜控制信号和附加旋转控制信号组成的组中的至少一个，
其中调整所述相机设备的视场包括选自由以下项组成的组中的至少一项：
使用所述旋转控制信号激活所述相机设备支架的旋转电机；
使用所述倾斜控制信号激活所述相机设备支架的倾斜电机；以及
使用所述附加旋转控制信号激活所述相机设备支架的附加旋转电机。


8.一种用于稳定图像捕获的稳定的相机设备支架，包括：
计算机处理器和存储指令的存储器，当被执行时，所述指令使所述计算机处理器执行以下操作：
从与相机设备刚性耦合的辅助成像元件接收附接到对象的光源的辅助图像序列，其中，所述辅助图像序列由所述辅助成像元件以辅助帧率捕获，辅助帧率超过所述图像捕获的相机帧率；
在所述辅助图像序列中的相应图像中检测所述光源的多个位置中的每个位置；和
分析所述多个位置以生成不受控运动的度量；以及
至少一台电机，其被配置为：
至少基于所述不受控运动的度量，在相机设备以相机帧率进行所述对象的图像捕获期间调整所述相机设备。


9.根据权利要求8所述的稳定的相机设备支架，所述指令在被执行时，还使所述计算机处理器执行以下操作：
其中，所述不受控运动的度量表示所述对象在辅助图像序列上的预测轨迹的偏差。


10.根据权利要求9所述的稳定的相机设备支架，其中，分析所述多个位置包括：
至少通过将曲线拟合算法应用于所述多个位置来确定所述预测轨迹。


11.根据权利要求10所述的稳定的相机设备支架，所述指令在被执行时，还使所述计算机处理器执行以下操作：
分析所述多个位置以生成受控运动的度量，
其中，所述受控运动的度量表示所述对象在所述辅助图像序列上的预测轨迹。


12.根据权利要求11所述的稳定的相机设备支架，所述指令在被执行时，还使所述计算机处理器执行以下操作：
基于所述受控运动的度量，减轻所述图像捕获的滚动快门效应。


13.根据权利要求11所述的稳定的相机设备支架，所述指令在被执行时还使所述计算机处理器执行以下操作：
基于所述不受控运动的度量和所述受控运动的度量，生成控制信号，
其中所述控制信号使所述至少一个电机在图像捕获期间调整所述相机设备的视场，以执行选自由基于所述不受控运动的图像稳定和基于所述受控运动的对象跟踪组成的组中的至少一个。


14.根据权利要求13所述的稳定的相机设备支架，
其中，所述控制信号包括选自由旋转控制信号、倾斜控制信号和附加旋转控制信号组成的组中的至少一个，
其中调整所述相机设备的视场包括选自由以下项组成的组中的至少一项：
使用所述旋转控制信号激活所述相机设备支架的旋转电机；
使用所述倾斜控制信号激活所述相机设备支架的倾斜电机；以及
使用所述附加旋转控制信号激活所述相机设备支架的附加旋转电机。


15.根据权利要求8所述的稳定的相机设备支架，
其中，所述辅助成像元件与选自由所述稳定的相机设备支架和所述相机设备组成的组中的至少一个集成为单...

【专利技术属性】
技术研发人员：钱昊，
申请(专利权)人：杭州他若定位科技有限公司，
类型：发明
国别省市：浙江;33