成像设备、成像方法以及程序技术

一种成像设备包括：成像装置，该成像装置通过光学系统对被摄体图像进行成像；图像信号处理部分，具有使用给定的初始值将多个成像图像合成为一个合成图像的功能，所述成像图像是在移动成像设备的同时获得的；姿势传感器，能够获得成像设备的姿势信息；控制器，该控制器处理姿势传感器的信息，以基于处理结果和图像信号处理部分的处理结果来执行协同控制，其中图像信号处理部分通过图像识别来获得图像的相对位置关系；并且控制器基于姿势传感器的检测信息来获得图像的位置关系，基于所获得的位置关系和由图像信号处理部分获得的相对位置关系指定各个图像的绝对位置关系，并且将该绝对位置关系作为初始值提供给图像信号处理部分。

【技术实现步骤摘要】

本专利技术涉及一种具有将多个图像合成在一起的功能的成像设备，并且涉及一种成像方法及其程序。
技术介绍
在使用摄像放像机(camcorder)(内置于VTR中的照相机)、数字照相机等的全景 摄影中，当在每一个阶段中停止照相机的扫动运动或者具有连续的扫动运动的同时拍摄全 景图像时，为了防止所得图像模糊，需要以低速扫动(swe印)该照相机。 在后一种情况下，拍摄可能需要高速快门。 对于这一点，日本专利No. 3928222提出了这样一种拍摄方法，该拍摄方法能够在 保持图像分辨率的同时快速扫动照相机。 在这种拍摄方法中使用的技术是这样一种技术，该技术能够通过检测照相机的扫 动方向和扫动的角速度并在扫动的反方向上以相同的角速度改变光轴从而抵消所得图像 中的变化，使照相机好像它聚焦在一个点上的一样拍摄图像。 尽管为了实施该控制方法需要使用加速度传感器或者角速度传感器，但是日本专 利No. 3925299提出了这样一种方法，即使在没有设置传感器和用于控制这些传感器的反 馈电路时，该方法也能够适当地控制光轴。 在这种情况下，该方法被用作监视系统，其中，施加到用于控制拍摄方向的步进电 机的脉冲的数目被计数，并根据该计数值执行光轴控制。
技术实现思路
然而，根据预期的全景摄影，图像的精确度高于诸如加速度传感器或角速度传感 器的姿势传感器的精确度。 因此，当只有姿势传感器的信息被用作姿势信息时，该信息变得太不精确以至于 不能在产生全景图像中使用。 因此，希望提供这样一种成像设备，以及成像方法及其程序，即使在执行全景摄影 时，该成像设备也能够抑制图像畸变的出现并且获得高精确度图像。 根据本专利技术的第一实施例，提供一种成像设备，该成像设备包括成像装置，其通 过光学系统对被摄体图像进行成像；图像信号处理部分，其具有使用给定的初始值将多个 成像图像合成为一个合成图像的功能，所述成像图像是在移动成像设备的同时获得的；姿 势传感器，其能够获得成像设备的姿势信息；控制器，其处理姿势传感器的信息，以便基于该处理结果和图像信号处理部分的处理结果执行协同控制(collaborative control)，其 中图像信号处理部分通过图像识别获得图像的相对位置关系；并且，控制器基于姿势传 感器的检测信息获得图像的位置关系，基于获得的位置关系和由图像信号处理部分获得的 相对位置关系指定各个图像的绝对位置关系，并且将绝对位置关系作为初始值提供给图像 信号处理部分。4 优选地，控制器通过获得的位置关系和由图像信号处理部分获得的相对位置关系 的选择性协同(selective collaboration)来获得相对位置关系，并且然后指定与各个图 像的中心方位相关的各个图像的绝对位置关系。 优选地，姿势传感器包括角速度传感器；并且，控制器使用角速度传感器的检测信 息来对移动量(shift amount)进行积分以便计算相对位置关系，对由图像信号处理部分获 得的相对位置关系执行选择性协同校正以便对相对位置信息进行积分，从而指定绝对位置 关系。 优选地，姿势传感器包括角速度传感器和加速度传感器；并且，控制器使用角速度传感器的检测信息来对移动量进行积分以便计算相对位置关系，对由图像信号处理部分获得的相对位置关系执行选择性协同校正以便对相对位置信息进行积分，从而获得指定绝对位置关系的相对位置关系，并且控制器根据加速度传感器的检测信息来校正绝对位置。 优选地，图像信号处理部分使用图像的重叠区域来执行图像识别。 优选地，图像信号处理部分通过在多个被选图像的边界处执行块匹配处理来提取特定参数，以便对这些边界执行合成处理，从而使得被选图像的边界以重叠关系设置；基于该参数对所有要合成的边界执行块匹配处理；以同时并行的方式对所有边界评估块匹配处理的结果；并且，执行合成处理，以便通过更新光轴方向来减少误差，从而减少在所有边界中的误差。 根据本专利技术的第二实施例，提供一种成像方法，该成像方法包括下述步骤使用成 像装置通过光学系统对被摄体图像进行成像，该光学系统具有能够在移动成像设备的同时 改变其光轴的光轴改变元件；通过对成像图像执行图像识别来获得这些图像的相对位置关 系；基于姿势传感器的检测信息，获得这些图像的位置关系；基于获得的位置关系和通过 图像识别获得的相对位置关系指定各个图像的绝对位置关系；并且，使用绝对位置关系作 为初始值，将多个成像图像合成为一个合成图像；成像图像是在移动成像设备的同时获得 的。 根据本专利技术的第三实施例，提供一种用于执行成像处理的程序，该程序使计算机 执行下述处理使用成像装置通过光学系统对被摄体图像进行成像，该光学系统具有能够 在移动成像设备的同时改变其光轴的光轴改变元件；通过对成像图像执行图像识别来获得 这些图像的相对位置关系；基于姿势传感器的检测信息，获得这些图像的位置关系；基于 获得的位置关系和通过图像识别获得的相对位置关系指定各个图像的绝对位置关系；并 且，使用绝对位置关系作为初始值，将多个成像图像合成为一个合成图像；成像图像是在移 动成像设备的同时获得的。 根据本专利技术的实施例，在移动成像设备的同时获得的多个成像图像被输入到图像 信号处理部分。 此外，由姿势传感器检测到的成像设备的姿势信息被输入到控制器。 图像信号处理部分通过图像识别获得这些图像的相对位置关系并将获得的相对位置关系提供给控制器。 控制器基于姿势传感器的检测信息获得这些图像的位置关系。此外，控制器基于 获得的位置关系和由图像信号处理部分获得的相对位置关系指定各个图像的绝对位置关 系，并将该绝对位置关系作为初始值提供给图像信号处理部分。 图像信号处理部分使用绝对位置关系作为初始值来将多个成像图像合成为一个 合成图像。 因此，根据本专利技术的实施例，即使在执行全景摄影时，也可以抑制图像畸变的出现 并获得高精确度图像。附图说明 图1是示出采用根据本专利技术实施例的图像处理设备的照相机设备的配置的例子 的框图； 图2是概念性地示出通过根据该实施例的照相机设备执行广角成像的情况的视 图； 图3是精确合成处理单元的框图； 图4是以曲线图的形式示出姿势传感器的输出(扫动角速度)的视图； 图5A和图5B是用于解释根据本实施例的第一配置的成像模式的视图； 图6是示出CMOS图像传感器的曝光时间、存储电荷的读出时间，以及光轴控制时间之间的关系的视图； 图7A和图7B是示出使用互功率谱(cross power spectrum) (CPS)在平移中的拼 接(stitching)图像的视图； 图8是用于解释通过块匹配(BM)提取参数的处理的视图，具体示出选择四个条件 良好的图像的处理； 图9是用于解释通过BM提取参数的处理的视图，具体示出在边界上的三个位置处 执行BM的例子； 图10是用于解释通过BM提取参数的处理的视图，具体示出由于存在透镜畸变而 导致BM的弓形结果； 图11是用于解释通过BM提取参数的处理的视图，具体示出由于不合适的倾斜角 而导致左右方向上的误差的情况； 图12是用于解释通过BM提取参数的处理的视图，具体示出这样一种情况，其中， 由于在左右边界中存在垂直扩展和收縮而产生横向偏差； 图13是用于解释通过块匹配(BM)处理提取参数的处理的视图，具体示出在旋转 图像时产生的误差的例子； 本文档来自技高网...

【技术保护点】
一种成像设备，包括：成像装置，该成像装置通过光学系统对被摄体图像进行成像；图像信号处理部分，具有使用给定的初始值将多个成像图像合成为一个合成图像的功能，所述成像图像是在移动成像设备的同时获得的；姿势传感器，能够获得成像设备的姿势信息；控制器，该控制器处理姿势传感器的信息，以基于该处理结果和图像信号处理部分的处理结果来执行协同控制，其中图像信号处理部分通过图像识别来获得图像的相对位置关系；并且控制器基于姿势传感器的检测信息来获得图像的位置关系，基于所获得的位置关系和由图像信号处理部分获得的相对位置关系指定各个图像的绝对位置关系，并且将该绝对位置关系作为初始值提供给图像信号处理部分。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：山下纪之，国兼宪太郎，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]