视频图像稳定化制造技术

本发明专利技术涉及一种方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及发送经过裁剪的视频帧以用于数字图像稳定化。

【技术实现步骤摘要】
【国外来华专利技术】视频图像稳定化
本专利技术的实施例涉及实现更好的图像稳定化。
技术介绍
图像稳定化方法可以被划分成光学和数字两个类别。数字图像稳定化(DIS)方法使用数字信号处理方法从所捕获的图像序列中去除不合需要的全局运动。所述处理去除由于摄影机相对于所捕获场景的不合需要的移动而导致的运动伪像。
技术实现思路
根据本专利技术的各个而不一定是所有实施例，提供一种方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及发送经过裁剪的视频帧以用于数字图像稳定化。根据本专利技术的各个而不一定是所有实施例，提供一种设备，其包括：被配置成捕获当前视频帧的摄影机传感器；被配置成实施以下操作的裁剪电路：接收对于当前视频帧的裁剪信息；响应于裁剪信息定义第一裁剪窗口；利用第一裁剪窗口对当前视频帧进行裁剪，从而形成经过裁剪的视频帧；以及发送经过裁剪的视频帧以用于数字图像稳定化。根据本专利技术的各个而不一定是所有实施例，提供一种设备，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码被配置成利用所述至少一个处理器使得摄影机模块对于一系列视频帧当中的每一个视频帧至少施行以下操作：接收对于当前视频帧的裁剪信息；响应于裁剪信息动态地调节第一裁剪窗口；利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以及发送经过裁剪的视频帧以用于数字图像稳定化。根据本专利技术的各个而不一定是所有实施例，提供一种方法，其包括：在摄影机模块处接收对于视频帧的裁剪信息；在摄影机模块处获得经过裁剪的视频帧；以及发送经过裁剪的视频帧以用于数字图像稳定化。根据本专利技术的各个而不一定是所有实施例，提供一种方法，其包括：接收对于视频帧的裁剪信息；在摄影机传感器处捕获经过裁剪的视频帧；发送经过裁剪的视频帧以用于数字图像稳定化。附图说明为了更好地理解本专利技术的各个示例性实施例，下面将仅通过举例的方式来参照附图，其中：图1示出了用于在数字图像稳定化之前处理所捕获的视频帧的方法的一个实例；图2示出了视频帧和经过裁剪的视频帧的一个实例；图3示出了经过裁剪的视频帧和经过双重裁剪的视频帧的一个实例；图4示出了包括摄影机模块和主机设备的系统的一个实例；图5示出了裁剪电路的一个实例；图6示出了用于施行极端数字图像稳定化的方法的一个实例；图7和8示出了用于施行涉及利用广角光学器件捕获的视频帧的极端数字图像稳定化的方法的实例；以及图9示出了用于施行极端数字图像稳定化和元数据覆盖的方法的一个实例。具体实施方式在可佩戴摄影机系统中，摄影机并不总是被持握在手中。因此，不存在通过手相对于用户身体的移动而实现的关节式稳定化。因此，数字图像稳定化需要补偿与用户的身体移动相关联的极端摄影机移动。在某些使用情况中，用户可能专注于例如体育运动之类的活动而不是视频记录，并且用户的身体移动可能由用户活动决定而不是保持摄影机的稳定性。实际上对于用户来说可能希望完全专注于所述活动。专利技术人已经认识到，需要更加鲁棒的数字图像稳定化。这可以通过使用能够对于输出视频帧支持大量裁剪并且仍然保持足够分辨率(像素计数)的高分辨率(高像素计数)摄影机传感器以及通过使用对于视频帧的先发性、自适应裁剪来实现，以便在施行数字图像稳定化之前降低其分辨率(像素计数)。如果在数字图像稳定化之前不对视频帧进行裁剪，则由于与高分辨率(像素计数)视频帧的传输、处理和存储相关联的带宽的增加，成本也将会增加。图1示出了用于在数字图像稳定化之前对所捕获的视频帧进行处理的方法10的一个实例。方法10包括：在方块3处，接收对于当前视频帧10的裁剪信息4；在方块5处，在摄影机传感器22处捕获当前视频帧10；在方块7处，利用第一裁剪窗口11对当前视频帧10施行第一裁剪从而形成经过裁剪的视频帧12，其中已响应于所接收到的裁剪信息4对第一裁剪窗口11进行了动态调节；以及在方块9处，发送经过裁剪的视频帧12以用于数字图像稳定化66。裁剪信息4可以基于(多个)历史视频帧而不是当前视频帧10来估计对于当前视频帧10的裁剪窗口11。因此，裁剪信息4可以取决于一个或更多先前视频帧而不是当前视频帧10。通过使用(多个)历史视频帧而不是当前视频帧10允许在无需传输、处理和存储整个当前视频帧10的情况下发生对于当前视频帧10的裁剪。对于一系列视频帧当中的每一个视频帧重复方法10。图2示出了当前视频帧10的一个实例。当前视频帧10具有N个像素的宽度和M个像素的高度。图2还示出了第一裁剪窗口11。该裁剪窗口11位于当前视频帧10内的坐标(x,y)处，并且具有m个像素的宽度和n个像素的高度。经过裁剪的视频帧12是当前视频帧10的位于第一裁剪窗口11内的该部分。经过裁剪的视频帧12的视场由裁剪窗口11的尺寸(mxn)以及摄影机相对于裁剪区域的光学特性决定。经过裁剪的视频帧12的内容由裁剪窗口11的尺寸(mxn)和裁剪窗口11的位置(x,y)决定。一系列所捕获的视频帧当中的某一视频帧在其刚刚被捕获后是“当前的”。其是可用于处理的最近的视频帧。每一个当前视频帧10与其自身的裁剪信息4相关联，所述裁剪信息4可以基于(多个)历史视频帧估计对于相关联的当前视频帧10的裁剪窗口11。由于对应于每一个当前帧10的历史是不同的，因此可以利用不同的裁剪窗口11对每一个当前帧10进行裁剪。因此可以对于一系列视频帧当中的每一个视频帧动态地调节裁剪窗口11。在一系列视频帧10期间对于裁剪窗口11的动态调节例如可以涉及响应于裁剪信息4调节第一裁剪窗口11的位置(x,y)。在一系列视频帧10期间对于裁剪窗口11的动态调节例如可以涉及响应于裁剪信息4调节裁剪窗口11的尺寸(mxn)。裁剪窗口11可以被约束到小于当前视频帧10的尺寸的一个已定义的阈值分数。这一约束可以被选择成防止对于经过裁剪的视频帧12的传输、处理或存储需求变得过高。第一裁剪窗口11例如可以小于当前视频帧10的尺寸的1/4，小于当前视频帧10的尺寸的1/9，或者甚至更小。裁剪信息4可以定义第一裁剪窗口11的尺寸从而使其预期会足够大于当前视频帧10内的某一感兴趣区段，以便允许利用经过裁剪的视频帧12对所述感兴趣区段进行数字图像稳定化。裁剪信息4还可以定义第一裁剪窗口11的尺寸从而使其预期会足够大于所述感兴趣区段，以便允许邻近感兴趣区段显示元数据。如果视频帧被摄影机模块20缩放到不同的分辨率，则裁剪信息4还可以取决于图像缩放参数。图4示出了包括摄影机模块20和主机设备30的系统37的一个实例。在一些而不一定是所有实施例中，系统37可以是可佩戴视频摄影机系统。图像捕获和低层级图像处理可以在摄影机模块20中发生。在该例中，摄影机模块20包括：被配置成捕获当前视频帧10的摄影机传感器22；被配置成从主机设备接收对于当前视频帧10的裁剪信息4的接口31；以及裁剪电路26，其被配置成利用第一裁剪窗口11对当前视频帧10进行裁剪从而形成经过裁剪的视频帧12，其中已响应于所接收到的裁剪信息4对第一裁剪窗口11进行了动态调节，并且还被配合成经由接口31发送经过裁剪的视频帧12以用于在主本文档来自技高网...

【技术保护点】
一种方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及发送经过裁剪的视频帧以用于数字图像稳定化。

【技术特征摘要】
【国外来华专利技术】2012.02.14 US 13/372,6351.一种用于视频图像稳定化的方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及向主机设备发送经过裁剪的视频帧以用于数字图像稳定化；其中，所述主机设备被配置成：重复使用被施行来标识出用于所述经过裁剪的视频帧的第二裁剪窗口的处理，以便至少部分地为后续的当前视频帧生成裁剪信息；以及利用第二裁剪窗口对所述经过裁剪的视频帧施行进一步的裁剪，以便提供数字图像稳定化。2.如权利要求1所述的方法，其中，所述方法在摄影机传感器模块处被施行，所述摄影机传感器模块包括：被配置成从主机设备接收对于当前视频帧的裁剪信息的输入接口；被配置成捕获当前视频帧的摄影机传感器；被配置成利用第一裁剪窗口对当前视频帧进行裁剪从而形成经过裁剪的视频帧的裁剪电路，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及被配置成发送经过裁剪的视频帧以用于在主机设备中进行数字图像稳定化的输出接口。3.如权利要求1或2所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗口的位置。4.如权利要求1或2所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗口的尺寸。5.如权利要求1或2所述的方法，其中，第一裁剪窗口的尺寸被约束到小于当前视频帧的尺寸的某一已定义分数。6.如权利要求1或2所述的方法，其中，裁剪信息取决于一个或更多先前视频帧而不是当前视频帧。7.如权利要求1或2所述的方法，其中，裁剪信息估计对于当前视频帧的裁剪窗口。8.如权利要求1或2所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足够大于感兴趣区段从而允许所述感兴趣区段的数字图像稳定化。9.如权利要求1或2所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足够大于感兴趣区段从而允许邻近所述感兴趣区段显示元数据。10.如权利要求1或2所述的方法，其还包括：作为数字图像稳定化的一部分，利用第二裁剪窗口对经过裁剪的视频帧施行裁剪，从而形成经过双重裁剪的视频帧。11.如权利要求10所述的方法，其还包括：通过分析当前视频帧确定第二裁剪。12.如权利要求1或2所述的方法，其还包括：通过分析处于当前视频帧之前的一个或更多视频帧而不是当前视频帧来确定裁剪信息。13.如权利要求12所述的方法，其中，裁剪信息标识出用在当前视频帧之前的视频帧的数字图像稳定化中的裁剪窗口。14.如权利要求1或2所述的方法，其中，裁剪信息包括对于第一裁剪窗口的尺寸和位置约束。15.如权利要求1或2所述的方法，其包括将元...

【专利技术属性】
技术研发人员：M·S·哈玛莱宁，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：芬兰;FI