进行三维运动图像的帧插补的三维图像插补装置，具备：距离图像插补部(501)，生成在第一距离图像和第二距离图像之间进行插补的至少1张插补距离图像，所述第一距离图像和所述第二距离图像分别表示三维运动图像中包含的第一图像以及第二图像的深度；图像插补部(502)，生成在第一图像和第二图像进行之间插补的至少1张插补图像；以及插补视差图像生成部(503)，根据插补图像，生成具有与插补距离图像表示的深度对应的视差的至少1组插补视差图像。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及对三维运动图像进行帧插补的三维图像插补装置，三维摄像装置以及三维图像插补方法。
技术介绍
近几年，使用CO)图像传感器(Charge Coupled Device Image Sensor :电荷藕合器件图像传感器)或者CMOS图像传感器(Complementary Metal Oxide SemiconductorImage Sensor :互补金属氧化物半导体图像传感器)等的固体摄像元件(下面有时简单称为“摄像元件”)的数字图片相机或者数字摄像机的高功能化以及高性能化令人震惊。尤其是随着半导体制造技术的进步，固体摄像元件的像素构造的细微化得到发展。其結果，固体摄像元件的像素以及驱动电路不断向着高集成化发展。因此，仅用几 年的时间，摄像元件的像素数从100万像素左右大大增加到1000万像素以上。加之，通过摄像获得的图像的质量也有了飞跃性的提高。另ー方面，通过液晶显示器或者等离子显示器等的薄型显示装置，实现了不占地方、能够以高分辨率且高对比度来显示图像。这样的图像高品质化的趋势，从ニ维图像扩大到三维图像。最近已经开始对采用偏振光眼镜或者具有高速快门的眼镜，显示高画质的三维图像的三维显示装置进行了开发。用于获得在三维显示装置上显示的高画质的三维图像或者三维影像的三维摄像装置的开发也有了发展。作为获得三维图像并在三维显示装置上显示的单纯的方法，可以考虑以具备了位置不同的2个光学系(透镜和摄像元件)的摄像装置来拍摄图像或者影像的方法。使用各光学系被拍摄的图像作为左眼用图像以及右眼用图像被输入到三维显示装置。通过三维显示装置将拍摄的左眼用图像和右眼用图像高速地切换来显示，戴眼镜的用户能够立体地感觉图像。另外，还有这样的方法，利用多台相机构成的摄像系算出场景的深度信息，根据深度信息和纹理(texture)信息生成左眼用图像以及右眼用图像。此外，还有这样的方法，改变光照方法等场景的几何条件或者光学条件或者摄像装置的光学系的条件(光圈的大小等)，根据I台相机拍摄的多张图像算出深度信息，从而生成左眼用图像以及右眼用图像。作为有关前者的方法有同时利用从多个相机获得的图像求出各像素的深度的非专利文献I中记载的多基线立体(Multi-baseline Stereo)法。该多基线立体法与一般的双目立体相比能够以高精度来推定场景的深度。作为一例说明相机的台数是2台(双目立体)时的左眼用图像以及右眼用图像(视差图像)的生成方法。在双目立体中利用2台相机从互相不同的视点拍摄2张图像，从被拍摄的各图像提取特征点，通过求出特征点间的对应关系来确定对应点。这样被确定的对应点间的距离被称为视差。例如，以2台相机拍摄的2张图像中，对应的特征点的坐标(X，y)分别为(5，10)，(10，10)时，视差成为5。在这里设相机被平行地配置，视差设为d，2台相机的焦点距离设为f，相机间的距离(基线长baseline)设为B时，根据(公式I)能够求出从相机到被摄体的距离。(公式I) ^ - BfZ = L (式 I) d在2台相机间的距离长时，在一个相机观测的特征点不能在另一个相机观测。即使是那样的情况下，多基线立体法利用3台以上的相机，从而能够减少对应点搜索的含糊性，所以减少视差推定的误差。在求出深度时，例如像非专利文献2所述的方法一样，利用深度的信息和场景的纹理，能够生成左眼用图像以及右眼用图像。根据非专利文献2所述的方法，利用推定的深 度和从摄像装置获得的场景的纹理，能够生成将虚拟相机位置(左眼用相机位置和右眼用相机位置)作为新的视点位置的图像。这样，能够获得与摄影时不同的视点位置的图像。新的视点位置的图像能够通过(公式2)生成。在这里各记号与(公式I)相同。求深度的相机的X坐标设为Xe，在新生成的视点位置上的相机的X坐标设为XI，Xr0xl, xr分别是左眼用以及右眼用的相机(虚拟相机)的X坐标。将虚拟相机间的距离(基线长baseline)设为 tx。(公式2)J txfXi=XC + 2Z(式2) txfxr-Xe —— TZ根据上述，使用多台相机算出深度，则能够生成左眼用图像以及右眼用图像。在与后者有关的深度的算出方法中，作为变更与场景有关的条件的方法有非专利文献3示出的光度立体(Photometric Stereo)法。改变照明的位置拍摄被摄体的多张图像被输入时，根据被摄体的像素值和照明的位置的三维关系，求出被摄体的三维位置。此外，作为改变摄像装置的光学条件的方法有非专利文献4示出的D印th From Defocus (散焦测距)法。在这个方法中，利用改变相机的焦点距离拍摄的多张图像的各像素的模糊的变化量、相机的焦点距离、光圈的大小(开口直径)，能够求出从相机到被摄体为止的距离(深度)。这样，从以前就开始研究了获得场景的深度信息的各种各样的方法。特别是D印thFrom Defocus法有这样的特征，能够将摄像装置做成小型且轻量，不需要照明装置等其他的装置。(现有技术文献)(专利文献)专利文献I :日本特开平7-262382号公报专利文献2 :日本特开2010-16743号公报(非专利文献 1)“A Multiple-baseline Stereo, ^IEEE Trans. Pattern Analysisand Machine Intelligence，Vol. 15，No. 4，pp. 353-363，1993，M. Okutomi and T. Kanade.(非专利文献2)“Stereoscopic Image Generation Based on Depth Images for3D TV. ” IEEE Trans. On Broadcasting, Vol. 51，No. 2，June2005，L Zhang and W. J. Tam.(非专利文献 3) “Photometric method for determining surface orientationfrom multiple images.，，Optical Engineerings 19, 1,139-144, 1980, R. J. ffoodham.(非专利文献 4) “A new sense for depth of field”，IEEE Transaction onPattern Analysis and Machine Intelligence, 2,4, pp. 523-531 1987, A.P.Pentland.(非专利文献 5) Depth from Defocus : A Spatial DomainApproach, International Journal of Computer Vision, Vol. 13, No. 3,pp. 271-294, 1994 M. Subbarao and G. Surya.(非专利文献6)“3DC安全方针” 3D consortium, 2010年4月20日修订版·如上所述,通过采用Depth From Defocus法，以单眼且小型的系统就能获得场景的深度信息。然而，在Depth From Defocus法中，需要改变相机的焦点距离拍摄2张以上的本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.10.27 JP 2010-2404611.ー种三维图像插补装置，进行三维运动图像的帧插补，该三维图像插补装置具备 距离图像插补部，生成在第一距离图像和第二距离图像之间进行插补的至少ー张插补距离图像，所述第一距离图像和所述第二距离图像分别表示所述三维运动图像中包含的第一图像以及第ニ图像的深度； 图像插补部，生成在所述第一图像和所述第二图像之间进行插补的至少ー张插补图像；以及 插补视差图像生成部，根据所述插补图像，生成具有与所述插补距离图像表示的深度对应的视差的至少ー组插补视差图像。2.如权利要求I所述的三维图像插补装置， 所述三维图像插补装置，还具备 距离运动矢量算出部，根据所述第一距离图像以及所述第二距离图像算出运动矢量，以作为距离运动矢量； 图像运动矢量算出部，根据所述第一图像以及所述第二图像算出运动矢量，以作为图像运动矢量； 矢量相似度算出部，算出矢量相似度，该矢量相似度是表示所述图像运动矢量和所述距离运动矢量的相似性的程度的值；以及 插补图像数决定部，以被算出的所述矢量相似度越大则数量越多的方式，决定插补的上限数， 所述插补视差图像生成部，生成被決定的所述上限数以下的数量的所述插补视差图像。3.如权利要求2所述的三维图像插补装置， 所述距离运动矢量算出部，按第一尺寸的每个块算出所述距离运动矢量， 所述图像运动矢量算出部，按所述第一尺寸的每个块算出所述图像运动矢量， 所述矢量相似度算出部， 按比所述第一尺寸大的第二尺寸的每个块，生成所述距离运动矢量的方向以及强度中的至少一方的直方图， 按所述第二尺寸的每个块，生成所述图像运动矢量的方向以及强度中的至少一方的直方图， 根据所述距离运动矢量与所述图像运动矢量的方向的直方图之间的相似性以及所述距离运动矢量与所述图像运动矢量的強度的直方图之间的相似性中的至少一方，算...
【专利技术属性】
技术研发人员：石井育规，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。