高质量合成全景图像的相机内生成制造技术

公开了高质量合成全景图像的相机内生成。装置和方法用于从在摇摄期间采集的图像序列自动生成全景静止相片。相机内的程序允许从多个捕捉到的静止和／或视频帧创建全景图像输出而无需费力的用户“接合”。图像序列在相机的控制下被捕捉，该图像序列跨越了正在被用户（在任意方向上）摇摄的所希望对象区域。当图像正在被捕捉时，程序确保在所希望对象区域正在被摇摄时序列中的相邻图像的边缘充分地彼此交叠，并且控制其他必要的相机调节（例如，维持固定的焦距）。连续交叠图像帧的集合被采集并组合以创建至少一个全景静止相片。用户可以优选地改变设置来控制图像被一起放入全景图像输出中的方式。

【技术实现步骤摘要】

本专利技术一般地涉及相机设备，并且更具体地涉及全景图像的自动生成。
技术介绍
全景摄影提供了具有伸长视场的图像捕捉，并且有时候被称作宽格式。在一个场 景中，呈现接近或大于人眼视场(即大约160° 士75° )的视场的图像可被称作全景。虽然 术语“全景”一般地可被用于各种形式的宽(或长)格式图像，包括被剪裁成宽或长格式的 那些图像，但是这里的讨论用该术语来表示在一个或多个方向上(例如，水平地或垂直地) 被延展出由图像传感器捕捉到的场景之外的相片。虽然已经可获得使用多个镜头和快门的相机，但是应理解，这些相机昂贵、体积大 并且甚至是专业摄影师都不易得到(一般摄影师当然更不易得到)。目前，利用传统相机创建全景图像涉及这样的过程捕捉具有固定曝光和适当交 叠(overlap)/对齐(alignment)的多个对象图像，然后剪切多幅物理图像以一起拟合成全 景或者在相片编辑器中完成同样的操作。在任一种情况下，要实现有质量的结果都很难或 者费力。当站在垂直地或水平地延展的拉伸全景(其不可能通过单个图像而被捕捉)前 时，人们往往考虑使用全景成像。如注意到的，产生全景的传统方法需要大量的用户努力并 且不能确保良好的全景图片。另一问题是摄影者在捕捉图像的过程期间，不能肯定这样捕 捉到的图像在组配时是否会提供希望的全景。用户可能捕捉到不适合产生全景的图像，例 如忘记固定焦距，未停留在全景的固定平面中，未能充分地使镜头交叠，倾斜相机从而离开 全景平面等等。当用户最后坐下来处理这些图像时，通过获取更多图像来校正这些问题已 为时过晚。因此，需要自动生成高质量全景图像而不需要用户努力的系统和方法。这些需要 以及其他需要在本专利技术中得到满足，本专利技术克服了之前开发的全景技术中的不足。
技术实现思路
本专利技术是在相机内响应于对多个图像的捕捉来自动生成全景图像的相机和方法。 本专利技术的关键之一是由相机进行的图像获取致力于全景对象和/或耦合到全景处理。相 机本身不仅自动将对象图像处理成全景而且确保在所捕捉到的连续图像间获得充分的交叠。在本专利技术的一个实施例中，一旦 全景模式被选择，摄影者就只需在他们在对象范 围内进行摇摄(pan)(例如，垂直地或水平地)期间保持快门按下。相机自动确保在整个镜 头内维持适当的固定焦距，以及充分的交叠，并且确保足够的帧。用户需要对相机做的所有 事情就是在拍“快照(snapshot)，，的同时对图像进行摇摄。本专利技术为任何用户(从初学者到专家)提供了方案，从而允许他们响应于使用当 前水平的CMOS传感器和数字图像处理技术来直接生成全景图像的方法，来创建高质量全 景图片而付出较少努力或者不用付出任何额外的努力。联系说明书一般地描述了以下术语，然而以下术语不应被解释为约束了说明书中 的具体叙述。这里记载的术语“摇动/摇摄”应用于在要捕捉的希望图像的空间范围内移动相 机的过程，不论该过程是响应于水平运动(传统摇摄)、垂直运动(传统倾斜)还是垂直和 水平运动的组合而发生的。术语“配准(register) ”具有多种定义，并且如这里记载的，将相机运动的检测或 估计描述为“对相机运动进行配准”，并且它也用来描述创建全景时对相邻图像的对齐。应 理解，在图像处理技术中，术语“配准”通常被更限制性地用于仅表示图像配准过程。本专利技术是可修改的以通过多种方式来实现，包括但不限于以下描述。本专利技术的一个实施例是一种用于捕捉全景图像的装置，包括(a)用于在在任一 希望方向上或组合方向上摇动相机的同时捕捉数字图像(静止、视频或者静止和视频的组 合)的序列的设备(例如，至少一个成像器和焦距控制器)；(b)计算机，该计算机与存储器 耦合；以及(b) (i)适合在所述计算机上执行来实现以下步骤的程序，(b) (ii)当在全景图 像中要捕捉的所希望全景景象范围内摇动相机时，捕捉成对地交叠的图像帧序列中的图像 帧，(b) (iii)配准(检测/估计)摇动运动；(b) (iv)响应于所检测到的摇动运动，来控制 对所述成对地交叠的图像帧序列中的各连续帧的捕捉，以在所述图像帧之间不出现间隙的 情况下确保适当的成对交叠，并且可选地按需选择交叠图像帧的子集，以及(b) (ν)组合所 述成对地交叠的图像帧序列以创建全景静止相片以供由所述相机输出。应注意，全景图像与由所述装置捕捉的传统的、非全景图像相比，在至少一个维度 (例如，水平的、垂直的、对角的、任意的、2D(垂直和水平区域)等等)上进一步延展。因此， 全景图像能够跨越(span)对象的任何希望的空间区域。全景图像能够被创建而不需要用户忙于得到适当的图像或者执行手动接合和调 和(blend)操作，因为所述装置能够自动执行所有这些步骤。全景输出能够以任何希望的 格式生成以供将数据传送到被配置为打印、存储和/或传送所述数据的外部电子设备。根据本专利技术的装置能够支持任何希望的用户界面，其适用于允许用户选择全景图 像捕捉，并且可选地选择用于变更捕捉和图像组合过程的特性。装置内的摇动运动配准可以响应于光传感、物理运动传感或其组合而被执行。当组合图像时，程序校正在相邻图像间的交界处的像素，从而调和图像以减轻任 何出现的“接缝”。在创建一个或多个全景图像之前或之后，可以对图像帧使用超分辨率处理技术来 增强结果的分辨率。本专利技术的一个实施例是一种被配置为响应于对所希望对象的摇摄来自动创建全 景静止图像的相机，包括(a)相机内的适用于捕捉数字图像序列的电子成像元件；(b)计 算机，与存储器耦合，所述计算机被配置为控制所述相机的所述电子成像元件；以及(c)适 合在所述计算机上执行来实现以下步骤的程序，(c) (i)当在全景图像中要捕捉的所希望全 景景象范围内摇动所述相机时，在所述电子成像元件内捕捉成对地交叠的图像帧序列，(C) ( )响应于对摇动运动的检测，控制在捕捉期间的图像帧交叠，或者选择连续交叠图像帧 的集合，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及(c) (iii)组 合连续交叠图像帧的集合以创建全景静止相片以供由所述相机输出。 本专利技术的一个实施例是一种在相机内自动捕捉全景静止相片的方法，包括以下步 骤(a)捕捉跨越正在摇摄的所希望对象区域的图像序列；(b)响应于当所希望对象区域正 在被摇摄时基于相机运动捕捉到足够的图像，来确保序列中的相邻图像的边缘彼此交叠； 以及(c)组合图像序列以创建至少一个全景静止相片图像。本专利技术提供了多个有益方面，这些有益方面可以分别被实现或者以任何希望的组 合被实现，而不会背离本教导。本专利技术的一方面是用于响应于在全景模式中组合在摇摄期间捕捉到的多个图像 来自动创建全景图像的方法和装置。本专利技术的另一方面是它允许全景图像响应于对跨越了所希望对象区域的足够数 目的图像帧的采集而被自动创建。本专利技术的另一方面是允许一般水平的“对准即拍”摄影者创建希望的全景效果。本专利技术的另一方面是允许摄影者创建全景图像结果而无需额外的设备或过程步马聚ο本专利技术的另一方面是创建全景图像而无需高精度的相机设备和控制机制的能力。本专利技术的另一方面是它允许摄影者在相机确保相邻图像的适当交叠的情况下创 建全景图像。本专利技术的另一方面是能够集成到数字静止和/或视频相机设备中的方法。本专利技术的又一方面是它能够应用于各种形式的图像采集本文档来自技高网...

【技术保护点】
一种用于捕捉全景图像的装置，包括：（ａ）用于捕捉数字图像序列的设备；（ｂ）计算机，该计算机与存储器耦合；以及（ｃ）适合在所述计算机上执行来实现以下步骤的程序，（ｉ）当在全景图像中要捕捉的所希望全景景象范围内摇动相机时，捕捉成对地交叠的图像帧序列中的图像帧，（ｉｉ）配准摇动运动；（ｉｉｉ）响应于所配准的摇动运动，来控制对所述成对地交叠的图像帧序列中的连续帧的捕捉，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及（ｉｖ）组合所述成对地交叠的图像帧序列以创建全景静止相片以供由所述相机输出。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：刘明昌，马克罗伯逊，
申请(专利权)人：索尼公司，索尼电子有限公司，
类型：发明
国别省市：JP[日本]