图像处理设备、图像处理方法和程序技术

提供了能够针对双透镜反射摄像装置的横向拍摄或纵向拍摄而输出3D可观看立体图像的设备和方法。存在：图像输入单元，用于输入作为输入图像的从不同视点拍摄的左眼图像和右眼图像；以及成像角度确定单元，用于输出与当对输入图像进行拍摄时的摄像装置的角度对应的控制信号。当控制信号指示由双透镜反射摄像装置以横向模式拍摄的图像时，输出作为输入图像的左眼图像和右眼图像。当控制信号指示由双透镜反射摄像装置以纵向模式拍摄的图像时，左眼图像或右眼图像的图像被输入到立体图像生成处理器。在立体图像生成处理器中，输出通过基于一个图像的2D-3D转换处理而生成的左眼图像和右眼图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备、图像处理方法和程序
本公开涉及一种图像处理设备、图像处理方法和程序。更具体地，本公开涉及用于生成可以立体地观看(立体观看)的三维图像(3D图像)的图像处理设备、图像处理方法和程序。
技术介绍
通过两个图像(即，作为从不同视点拍摄的图像的用于左眼的左眼图像和用于右眼的右眼图像)的组合而构成可以被观看为具有深度的立体图像的、支持立体观看的图像。为了从两个视点获得图像，即，双眼视差图像，例如，两个图像捕获设备彼此间隔开布置在右侧和左侧并且使得其捕获图像。所捕获的立体图像对包括如下图像对:该图像对包括由在左侧的图像捕获设备捕获的且利用左眼观看的左眼图像以及由在右侧的图像捕获设备捕获的且利用右眼观看的右眼图像。由包括左眼图像和右眼图像的图像对构成的立体图像对被分离为左眼图像和右眼图像，并且显示在可以向观看者的左眼和右眼呈现图像的显示装置上，以使得观看者可以将图像感知为立体图像。具有双透镜配置的摄像装置用作下述配置:该配置用于在利用一个摄像装置执行一次的图像捕获处理中捕获包括左眼图像和右眼图像的图像对。这种双透镜配置摄像装置被称为例如立体摄像装置。图1示出了由具有立体图像捕获系统的图像捕获设备执行的图像捕获方法。图1所示的摄像装置10是具有用于捕获左眼图像和右眼图像的双透镜配置的立体摄像装置。具有这样的双透镜立体图像捕获系统的图像捕获设备通常被视为是被水平持握的，并且基于水平位置关于右侧和左侧的偏差来获得视差图像。图2是示出使用具有立体图像捕获系统的图像捕获设备在水平持握摄像装置的情况下进行的图像捕获处理的示例的图。图2(a)是左眼图像，图2(b)和(C)是相同的图并且是右眼图像。(a)左眼图像和(b)、(C)右眼图像均是通过捕获作为被摄对象的汽车、建筑物、树和房子的图像而得到的，但是图像捕获方向根据摄像装置的透镜位置的偏差而不同，因此，每个图像上的这些被摄对象的布置稍微不同。在图2(a)的左眼图像和图2(b)的右眼图像之间连接的虚线指示了每个被摄对象在垂直方向上没有偏差。另一方面，在图2(a)的左眼图像和图2(c)的右眼图像之间连接的虚线指示了每个图像中的被摄对象位置根据距图像捕获设备的距离而在左右方向(水平方向)上存在偏差。该左右方向(水平方向)上的偏差是视差。通过在能够将图像呈现给观看者的左眼和右眼的显示装置上显示具有如上所述的视差的两个图像，观看者可以将图像感知为立体图像。为了使得具有双透镜配置的摄像装置捕获具有视差的左眼图像和右眼图像，必需如图1所示水平持握摄像装置10。然而，当要捕获具有在垂直方向长的构图的图像时，使摄像装置倾斜90度并且捕获图像，这表示执行所谓的垂直持握图像捕获。当使如图1所示具有双透镜配置的摄像装置10倾斜90度并且在垂直持握摄像装置的情况下捕获图像时，则在作为捕获图像而获得的左眼图像和右眼图像中没有生成水平方向上的视差。结果，这些图像是无法被显示为立体图像的图像。图3是示出用于在当将具有立体图像捕获系统的双透镜配置的摄像装置10倾斜90度时垂直持握摄像装置的情况下捕获图像的处理的示例的图。图4示出了通过如图3所示的在垂直持握摄像装置的情形下进行的图像捕获处理而获得的(a)左眼图像和(b)右眼图像。通常，如此捕获的图像被显示为在显示期间被旋转90度的情况下的图4(c)、(d)的图像。图5示出了:(a)显示在显示单元上的左眼图像(=图4(c))，以及(b)、(C)显示在显示单元上的右眼图像(=图4(d))。虚线指示图像之间的偏差。从图5(a)、(C)之间的虚线可以了解，在(a)左眼图像与(C)右眼图像之间不存在水平方向上的偏差。更具体地，不存在视差，并且甚至当这两个图像再显示在3D图像显示装置上时,无法感知到立体感。另一方面，从图5(a)、(b)之间的虚线可以了解，在(a)左眼图像与(b)右眼图像之间发生了垂直方向上的偏差。当这两个图像显示在3D图像显示装置上时，仅感知到垂直图像偏差，并且无法获得立体感。这是因为，3D显示器是被配置成通过将具有水平方向上的视差的两个图像输入到人的右眼和左眼而使得人感觉到立体感。图6示出了:(A)由水平持握的立体摄像装置捕获的具有水平方向上的视差的、并且没有垂直方向上的偏差的左眼图像和右眼图像；以及(B)由垂直持握的立体摄像装置捕获的没有水平方向上的视差的、并且仅具有垂直方向上的偏差的左眼图像和右眼图像。当(A)的图像对被显示在3D显示装置上时，可以感知到立体感，但是，甚至当(B)的图像对显示在3D显示装置上时，也无法感知到立体感。如上所述，存在如下问题:在使用双透镜摄像装置的立体图像图像捕获中在垂直持握摄像装置的情形下所捕获的图像不能被3D显示装置所使用。鉴于该问题，例如，专利文献1(JP2008-141514A)提出了用于使用具有双透镜配置的立体摄像装置的配置的方法，其中，当垂直持握摄像装置时，不记录右图像和左图像之一的捕获图像数据，从而节约了存储器。另一方面，专利文献2(JP2009-188931A)提出了下述方法:该方法用于通过在垂直持握摄像装置的情况下使得图像捕获元件机械地旋转和移动来捕获立体图像。然而，专利文献I (JP2008-141514A)是下述处理:该处理当在垂直持握摄像装置的情形下捕获图像时禁用了立体图像捕获，并且本质上，这不是用于实现立体图像捕获处理的解决方案。另一方面，专利文献2 (JP2009-188931A)的解决方案在垂直持握摄像装置时启用立体图像捕获。然而，为了实现图像捕获元件的机械旋转，存在如下问题:增加了图像捕获设备的大小，并且右眼和左眼两者的方向和位置可能由于机械精度而发生偏差。另外，在水平持握模式与垂直持握模式之间进行切换存在时滞，并且不可能处理立即图像捕获，另外，存在如下问题:在运动图片图像捕获处理期间，难以在水平持握模式与垂直持握模式之间进行切换。引用列表专利文献专利文献I JP2OO8-Hl5HA专利文献2 JP2009-188931A
技术实现思路
本专利技术要解决的问题本公开是例如鉴于以上问题而做出的，并且本公开的目的是提供能够生成可以立体地感知的图像而不依赖于如何持握摄像装置的图像处理设备、图像处理方法和程序。根据本公开的示例，目的是提供一种如下图像处理设备、图像处理方法和程序:其通过提供用于根据由立体摄像装置捕获的右2D图像和左2D图像中的任一个生成右视差图像和左视差图像的功能(2D/3D转换功能)，甚至当垂直持握立体摄像装置时也能够生成可以从其感知到立体感的视差图像。问题的解决方案本公开的第一方面是图像处理设备，该图像处理设备包括:图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号，其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号，其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行下述二维‑三维转换处理而生成的左眼图像和右眼图像：该二维‑三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。

【技术特征摘要】
【国外来华专利技术】2011.11.29 JP 2011-2610331.一种图像处理设备，包括: 图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及 图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号， 其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及 在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。2.根据权利要求1所述的图像处理设备， 其中，所述图像 处理设备包括:深度图生成处理单元，用于生成基于所述输入图像的深度图，以及 所述立体图像生成处理单元应用所述深度图来执行根据被摄对象距离而设置视差的二维-三维转换处理，从而生成左眼图像和右眼图像。3.根据权利要求1所述的图像处理设备，其中，所述图像处理设备包括: 图像旋转单元，被配置成将输入到所述立体图像生成处理单元中的图像旋转90度； 深度图生成处理单元，被配置成生成基于所述输入图像的深度图；以及 深度图旋转单元，被配置成将所述深度图生成处理单元生成的深度图旋转90度， 其中，所述立体图像生成处理单元接收来自所述图像旋转单元的旋转了 90度的图像以及来自所述深度图旋转单元的旋转了 90度的深度图，并且所述立体图像生成处理单元通过基于所输入的数据执行根据被摄对象距离而设置视差的二维-三维转换处理，来生成左眼图像和右眼图像。4.根据权利要求1所述的图像处理设备，其中，所述图像捕获角度确定单元生成和输出下述控制信号:利用该控制信号，能够确定如下所述的三种类型的图像捕获角度(a)至(C): (a)所述输入图像是通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像； (b)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在顶部并且该摄像装置的右侧在底部的捕获图像；以及 (C)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在底部并且该摄像装置的右侧在顶部的捕获图像。5.根据权利要求1所述的图像处理设备，其中，所述立体图像生成处理单元通过执行没有应用深度图的二维-三维转换处理而生成左眼图像和右眼图像。6.根据权利要求1所述的图像处理设备，其中，所述图像处理设备具有用于从...

【专利技术属性】
技术研发人员：伊藤厚史，山崎知洋，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP