组合的电子图像稳定和光学图像稳定制造技术

描述了用于将光学图像稳定和电子图像稳定进行组合以拍摄和处理针对视频的帧的示例。被配置为根据所执行的光学图像稳定来执行电子图像稳定的示例设备可以包括存储器和一个或多个处理器。所述一个或多个处理器可以被配置为获得针对在图像传感器拍摄一系列的帧期间执行的光学图像稳定(OIS)的OIS信息，以及基于OIS信息确定电子图像稳定(EIS)滤波器。所述一个或多个处理器还可以被配置为获得照相机位置信息，并且EIS滤波器还可以是基于照相机位置信息的。所述一个或多个处理器还可以配置图像信号处理器以基于EIS滤波器来执行EIS。图像信号处理器以基于EIS滤波器来执行EIS。图像信号处理器以基于EIS滤波器来执行EIS。

【技术实现步骤摘要】
【国外来华专利技术】组合的电子图像稳定和光学图像稳定


[0001]本公开内容通常涉及图像拍摄系统和设备，其包括组合的电子图像稳定和光学图像稳定。

技术介绍

[0002]许多设备和系统包括一个或多个照相机以拍摄场景的图像或视频。由例如导致设备抖动的用户的手引起的全局运动、设备的平移运动或旋转运动等可能导致图像或视频的模糊。在场景中的对象的(或整个场景的)模糊对于用户而言是不期望的。

技术实现思路

[0003]提供本
技术实现思路
来以简化的形式介绍下文的具体实施方式中进一步描述的对概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或重要特征，也不旨在限制所要求保护的主题的范围。
[0004]描述了将用于拍摄一系列的帧的光学图像稳定与用于对针对视频的一系列的帧的拍摄后处理的电子图像稳定进行组合的示例。被配置为根据光学图像稳定来执行电子图像稳定的示例设备可以包括存储器和一个或多个处理器。所述一个或多个处理器可以被配置为获得针对在图像传感器拍摄一系列的帧期间执行的光学图像稳定(OIS)的OIS信息，以及基于OIS信息来确定电子图像稳定(EIS)滤波器。所述一个或多个处理器还可以被配置为获得照相机位置信息，并且EIS滤波器还可以是基于照相机位置信息的。一个或多个处理器还可以配置图像信号处理器以基于EIS滤波器来执行EIS。
[0005]在一些实现方式中，可移动的照相机镜头的位置是相对于图像传感器的。所述一个或多个处理器可以被配置为在拍摄一系列的帧期间基于可移动的照相机镜头的位置来确定镜头失真校正(LDC)变换，以及EIS滤波器是基于LDC变换的。以这种方式，设备还可能能够在执行OIS的情况下执行LDC。LDC可以准确地去除OIS存在时的镜头失真。
[0006]用于执行EIS的示例方法可以包括获得针对在图像传感器拍摄一系列的帧期间执行的OIS的OIS信息。该方法还包括基于OIS信息来确定EIS滤波器。在一些实现方式中，该方法可以包括获得照相机位置信息，并且EIS滤波器还可以是基于照相机位置信息的。在一些实现方式中，该方法可以包括配置图像信号处理器以基于EIS滤波器来执行EIS。
[0007]在一些实现方式中，可移动的照相机镜头的位置是相对于图像传感器的。该方法可以包括在拍摄一系列的帧期间基于可移动的照相机镜头的位置来确定LDC变换，并且EIS滤波器是基于LDC变换的。以这种方式，可以在执行OIS的情况下准确地执行LDC。
[0008]示例计算机可读介质可以存储指令，所述指令在由设备的一个或多个处理器执行时，使得设备获得针对在图像传感器拍摄一系列的帧期间执行的OIS的OIS信息。对指令的执行还使得设备基于OIS信息来确定EIS滤波器。在一些实现方式中，对指令的执行可以使得设备获得照相机位置信息，并且EIS滤波器还可以是基于照相机位置信息的。
[0009]在一些实现方式中，可移动的照相机镜头的位置是相对于图像传感器的。对指令
的执行可以进一步使得设备在拍摄一系列的帧期间基于可移动的照相机镜头的位置来确定LDC变换，并且EIS滤波器是基于LDC变换的。以这种方式，设备可以在还执行OIS的情况下准确地执行LDC。
[0010]用于执行EIS的示例设备可以包括用于获得针对在图像传感器拍摄一系列的帧期间执行的OIS的OIS信息的单元。该设备还包括用于基于OIS信息来确定EIS滤波器的单元。在一些实现方式中，设备可以包括用于获得照相机位置信息的单元，并且EIS滤波器还可以是基于照相机位置信息的。
[0011]该设备还可以包括用于获得照相机位置信息的单元，以及EIS滤波器还是基于照相机位置信息的。EIS滤波器可以包括移位函数，移位函数针对处理前的一系列的帧中的多个像素位置中的每个像素位置来指示未处理的帧中的像素位置到经处理的帧中的相关联的像素位置的移位。该设备还可以包括用于在拍摄一系列的帧期间基于可移动的照相机镜头相对于图像传感器的位置来确定LDC变换的单元。EIS滤波器是基于LDC变换的。以这种方式，可以在执行OIS的情况下准确地执行LDC。
[0012]该设备可以包括用于确定用于减少滚动快门失真的旋转变换的单元。旋转变换是基于在对每个图像传感器像素的读出时的图像传感器的角度与在对中心图像传感器像素的读出时的图像传感器的角度之间的差。EIS滤波器是基于旋转变换的。
附图说明
[0013]通过示例而非限制的方式，本公开内容的各方面是在附图的图片中示出的，并且在其中类似的附图标记指的是类似的元素。
[0014]图1示出在帧拍摄期间添加的不同的失真的流程图。
[0015]图2示出对包括移位镜头的示例光学图像稳定系统的描绘。
[0016]图3示出对基于使用移位镜头的光学图像稳定的示例光导引的描绘。
[0017]图4示出对包括对镜头和图像传感器进行旋转的示例光学图像稳定系统的描绘。
[0018]图5示出在执行光学图像稳定时，在帧拍摄期间添加的不同的失真的流程图。
[0019]图6示出被配置为执行光学图像稳定和电子图像稳定的示例设备的方框图。
[0020]图7示出用于基于执行的光学图像稳定来配置电子图像稳定的示例系统的方框图。
[0021]图8示出描绘用于基于执行的光学图像稳定来执行电子图像稳定的示例操作的说明性流程图。
[0022]图9示出描绘用于校准来自要用于EIS的OIS的测量的示例操作的说明性流程图。
具体实施方式
[0023]本公开内容的各方面可以用于图像或视频拍摄的图像稳定。在一些示例实现方式中，在处理帧拍摄的序列时，将电子图像稳定与光学图像稳定进行组合。
[0024]许多照相机(比如包括在手持设备中的照相机，包括智能手机、平板电脑、数码照相机等)在视频拍摄过程中可能会有全局移动。例如，用户的手可能抖动，或者用户可能旋转照相机以拍摄不同的方向。照相机移动或运动可以包括平移运动(比如在不旋转的情况下沿着一个或多个轴运动)或旋转运动(比如滚动、俯仰或偏航的一者或多者)中的一者或
多者。照相机拍摄一系列帧以拍摄视频，并且照相机在拍摄期间的移动可能导致场景在帧拍摄之间跳跃。例如，场景可以基于平移运动而移动，并且场景可以基于旋转运动而旋转。如果照相机的帧速率不够快，则由于照相机的移动，视频中的场景可能会显得模糊。
[0025]另外地，照相机可以包括将光聚焦在图像传感器上的镜头。镜头的曲率或镜头缺陷可能导致场景中的光折射到图像传感器，从而使场景在视频中出现失真。例如，由于镜头向图像传感器的中心折射光，图像传感器的角落处的光强度可能小于图像传感器中心处的光强度。在另一示例中，由于镜头边缘相对于镜头中心的附加曲率(比如帧中的鱼眼效应)，通过图像传感器的边缘拍摄的场景的一部分可能会出现扭曲(warp)。
[0026]另一种失真可以归因于照相机的滚动快门。如果照相机具有全局快门，则一次读取图像传感器的全部像素。以这种方式，每个像素在同一时间拍摄场景。然而，许多照相机具有滚动快门。对于滚本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置为执行电子图像稳定的设备，其包括：存储器；以及一个或多个处理器，其被配置为进行以下操作：获得针对在由图像传感器拍摄一系列的帧期间执行的光学图像稳定(OIS)的OIS信息；以及基于所述OIS信息来确定电子图像稳定(EIS)滤波器。2.根据权利要求1所述的设备，其中，获得所述OIS信息包括获得在拍摄所述一系列的帧期间的对与所述图像传感器相关联的可移动的照相机镜头的位置的指示。3.根据权利要求2所述的设备，其中，所述一个或多个处理器还被配置为获得照相机位置信息，其中，所述EIS滤波器还是基于所述照相机位置信息的。4.根据权利要求3所述的设备，其中，所述EIS滤波器包括移位函数，所述移位函数针对在处理之前的所述一系列的帧中的多个像素位置中的每个像素位置来指示未处理的帧中的所述像素位置到经处理的帧中的相关联的像素位置的移位。5.根据权利要求3所述的设备，其中：所述可移动的照相机镜头的所述位置是相对于所述图像传感器的；以及所述一个或多个处理器还被配置为进行以下操作：在拍摄所述一系列的帧期间基于所述可移动的照相机镜头的位置来确定镜头失真校正(LDC)变换，其中，所述EIS滤波器是基于所述LDC变换的。6.根据权利要求3所述的设备，其中，所述一个或多个处理器还被配置为进行以下操作：确定用于减少滚动快门失真的旋转变换，其中：所述旋转变换是基于在对每个图像传感器像素的读出时的所述图像传感器的角度与在对中心图像传感器像素的读出时的所述图像传感器的角度之间的差；以及所述EIS滤波器是基于所述旋转变换的。7.根据权利要求3所述的设备，还包括照相机，所述照相机包含以下各项：所述图像传感器，其被配置为拍摄所述一系列的帧；所述可移动的照相机镜头，其在拍摄所述一系列的帧期间与OIS相关联；以及所述镜头位置传感器，其与所述可移动的照相机镜头相关联。8.根据权利要求7所述的设备，其中：所述OIS是镜头移位OIS；所述可移动的照相机镜头被配置为相对于所述图像传感器移动；以及所述镜头位置传感器包括霍尔效应传感器。9.根据权利要求7所述的设备，其中：所述OIS是模块倾斜OIS；所述可移动的照相机镜头的位置相对于所述图像传感器的位置是固定的；所述可移动的照相机镜头被配置为与所述图像传感器一起旋转；以及所述镜头位置传感器包括光电探测器。10.根据权利要求7所述的设备，还包括陀螺仪，其被配置为测量所述照相机的位置，其中，所述照相机位置信息是基于由所述陀螺仪进行的测量的。
11.根据权利要求1所述的设备，还包括图像信号处理器，其中，所述一个或多个处理器还被配置为配置所述图像信号处理器以基于所述EIS滤波器对所述一系列的帧执行EIS。12.根据权利要求11所述的设备，还包括视频编码器，其被配置为在EIS之后对经处理的一系列的帧进行编码以生成视频。13.一种用于执行电子图像稳定(EIS)的方法，包括：获得针对在由图像传感器拍摄一系列的帧期间执行的光学图像稳定(OIS)的OIS信息；以及基于所述OIS信息来确定电子图像稳定(EIS)滤波器。14.根据权利要求13所述的方法，其中，获得所述OIS信息包括获得在拍摄所述一系列的帧期间的对与所述图像传感器相关联的可移动的照相机镜头的位置的指示。15.根据权利要求14所述的方法，还包括获得照相机位置信息，其中，所述EIS滤波器还是基于所述照相机位置信息的。16.根据权利要求15所述的方法，其中，所述EIS滤波器包括移位函数，所述移位函数针对在处理之前的所述一系列的帧中的多个像素位置中的每个像素位置来指示未处理的帧中的所述像素位置到经处理的帧中的相关联的像素位置的移位...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：