本发明专利技术提供一种摄像装置。该摄像装置具有：在不同的曝光时间获取两个图像的摄像部(100)、和使用由摄像部(100)获取到的图像来进行复原处理的图像处理部(220)。图像处理部(220)具有：决定对获取到的图像的因手抖动引起的模糊进行规定的模糊内核的模糊内核决定部、和生成复原图像的图像复原部。模糊内核决定部，根据拍摄时的曝光时间而使模糊内核的尺寸发生变化。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于生成使由于拍摄时的手抖动引起的模糊减少的复原图像的摄像装置、图像处理装置、图像处理方法、以及图像处理程序。
技术介绍
若用数字相机进行图像的获取(拍摄)，则由于CCD (Charge-Coupled Device:电荷耦合元件)、或CMOS的读出电路的特性或传送路径的特性，有时会对图像混入噪声。此夕卜，由于拍摄时未对好焦距(未聚焦out-of-focus)引起的图像的模糊(模糊blur)、或手抖动(cam era shake)等引起的图像的模糊会产生。如此，在拍摄图像中，基于拍摄图像固有的特性的噪声，加上拍摄时由人为的操作所引起的模糊，会使图像变差。这些“模糊”之中，有时将由拍摄(曝光)中的相机的运动引起的图像的模糊称为“运动模糊(motion blur)”。近年来，特别是由于高灵敏度拍摄的需要在增加，需要将由于模糊而变差的图像(以下，称为“变差图像”)复原为尽可能与原图像(以下，称为“理想图像”)接近的图像。为了实现高灵敏度拍摄所要求的明亮且无噪声或无模糊的图像，而大致区分有提高灵敏度的方案、以及延长曝光时间的方案。然而，若提高灵敏度则噪声也会增加，因此，信号会被埋入噪声中，大多会成为噪声占据大半的图像。另一方面，通过延长曝光时间，多积蓄此时产生的光，而能得到噪声少的图像。此时，虽然信号没有被埋入噪声中，但存在由于手抖动而易于在图像中产生运动模糊的问题。因此，当前，用2种方案作为延长曝光时间时的处理法。一种是透镜移动或传感器移动的光学式手抖动补偿。另一种是通过所得到的图像或传感器求出运动模糊的方向/大小，然后通过信号处理来复原图像的方法(基于信号处理的复原方法)。在光学式手抖动的补偿中，补偿的范围有限。若延长曝光时间，则容易发生手抖动，需要增大透镜或传感器的动作范围。然而，若动作范围变大，则存在当透镜或传感器移动时会产生时间延迟的问题。此外，对于大型化，存在尺寸的物理极限。基于信号处理的复原方法，例如在专利文献I、专利文献2、非专利文献I、非专利文献2等中被公开。以下，对基于信号处理的复原方法进行说明。在此，以I(x，y)表示在摄像元件的摄像面所形成的图像的亮度分布。坐标(x，y)是表示摄像面的像素(感光单元)的位置的二维坐标。在图像为例如由以矩阵状排列的MXN个的像素构成时，若将X以及y分别设为满足O彡X彡M-1、0彡y彡N-I的关系的整数，则能够通过坐标(x，y)来确定构成图像的各个像素的位置。在此，将坐标的原点(0，0)置于图像的左上角，X轴设为沿垂直方向延伸，y轴设为沿水平方向延伸。然而，坐标的获取方法是任意的。将L(x，y)设为无模糊(blur)的图像(理想图像或原图像)的亮度分布，规定模糊的PSFJP :将“点扩散函数(Point Spread Function) ”设为PSF(x，y)，将噪声设为η(x，y)，以下的式I成立。数II (x, y) = PSF (x, y) *L (x, y) +n (x, y)(式 I)其中，記号表示二维旋积运算(卷积)。手抖动的点扩散函数PSF(x，y)，取决于拍摄(曝光)中的手抖动的轨迹。由于手抖动的轨迹按照每个相机拍摄而不同，PSF(X，y)也按照每个相机拍摄而变化。通过陀螺仪传感器等检测出拍摄中的手抖动轨迹，当PSF(x，y)为已知时，通过使用该PSF(x，y)来进行反旋积运算(反卷积)，能够从变差图像I(x、y)复原成图像L(x、y)。另一方面，当PSF(X, y)未知时,需要从变差图像I(x、y)推定PSF(x, y),并复原图像L(x,y)。将前者称为“非盲 反卷积”，将后者称为“盲 反卷积”。在盲 反卷积中，由于需要从变差图像I (X，Y)推定PSF(X，y)以及图像L(x，y)两者，因此与非盲·反卷积相比更难 以降低模糊。规定基于手抖动的模糊PSF的旋积运算，通过线性滤波器进行。二维旋积运算的线性滤波器，通常，由具有NXN像素尺寸的系数矩阵构成的积分核(内核)表示。其中，N是3以上的整数。规定模糊的PSF，能够通过模糊内核(blur kernel)来表现。为了从有模糊的图像，复原成降低了模糊的图像(包括去除了模糊的图像)，需要推定规定模糊的模糊内核。作为基于信号处理的图像复原，例如，非专利文献I公开有，在从存在模糊的一张图像来推定模糊内核以及复原图像时，使用多尺度推定法(multi-scale inferencescheme)。在该多尺度推定法中，最初使用分辨率低的变差图像来推定具有3X3像素尺寸的模糊内核。然后，通过逐渐提高推定中使用的变差图像的分辨率，使模糊内核的分辨率也提高。图19(a) (h)是用于说明非专利文献I中所公开的方法的图。图19(a)的上段表示3X3像素的模糊内核，下段表示对应的分辨率的复原图像。图19(b) (h)也同样，逐渐地提高分辨率。在分辨率低的变差图像中，由于像素数少，因此基于手抖动的模糊的像素尺寸也变小。其结果，在分辨率低的变差图像中，模糊内核的尺寸也变小，用于推定模糊内核所需要的计算量也变少。此外，若从最初就使用像素数大的高分辨率的变差图像来进行模糊内核的推定，贝1J在与真的模糊内核不同的模糊内核(局所解local minima局部极小)中有发生收敛的可能性。根据多尺度推定法，能够提高模糊内核的推定精度。此外，在专利文献I中，公开有从连续获取到的2张图像，得到使运动模糊降低的复原图像的方法。在该方法中，分别根据第I图像、以及通过比第I图像短时间曝光而获取到的第2图像来推定模糊内核。根据通过合成所推定的两个模糊内核而得到的合成模糊内核、和合成第I图像以及第2图像而得到的合成图像来生成一个复原图像。根据该方法，仅在第I图像中所包含的运动模糊的程度大的情况下，进行复原处理，在运动模糊的程度小的情况下，不进行复原处理。先行技術文献专利文献专利文献IJP特开2008-99025号公报专利文献2JP特开2009-111596号公报非专利文献非专利文献I Rob Fergus et al.， Removing camera shake from asingleimage , Barun Singh Aaron Hertzmann, SIGGRAPH 2006非专利文献2 High-quality Motion Deblurring from a Single Image ，QiShan, Jiaya Jia, and Aseem Agarwala, SIGGRAPH 2008专利技术概要专利技术所要解决的技术问题根据现有技术，最终的模糊内核的尺寸被预先设定为固定值。因此，为了对模糊程度较大的变差图像进行正确的复原处理，需要将模糊内核的尺寸设定为较大的值。包含超过所设定的模糊内核尺寸的较大运动模糊的变差图像无法正确复原。 特别是当在暗的环境下进行拍摄时，为了确保充分的受光量，需要延长曝光时间。若延长曝光时间，则因相机的运动引起的图像的运动模糊的程度一般会变大。因此，在延长用于拍摄黑暗场景的曝光时间时，需要预先将模糊内核的尺寸设定为较大的值。然而，若增大模糊内核的尺寸，则即使对于运动模糊程度较小的图像，也存在由于要进行基于具有尺寸较大的模糊内核的复原处理，而使复原处理所需要的计算量增多的问题本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.05.21 JP 2010-117676;2010.05.25 JP 2010-119381.一种摄像装置，生成减少了因摄像时的手抖动引起的模糊的复原图像，具有 摄像部，其在一次拍摄中，获取第I图像、以及以比所述第I图像短的曝光时间获取的第2图像；和 图像处理部，其使用由所述摄像部获取到的所述第I图像以及所述第2图像来进行复原处理， 所述图像处理部具有 模糊内核决定部，其决定对由所述摄像部获取到的所述第I图像中的因手抖动引起的 模糊进行规定的模糊内核；和 图像复原部，其使用被决定的所述模糊内核来生成复原图像， 所述模糊内核决定部，根据获取所述第I图像时的曝光时间而使所述模糊内核的尺寸变化。2.根据权利要求I所述的摄像装置，其特征在于， 所述模糊内核决定部，所述曝光时间越长，越增大所述模糊内核的尺寸。3.根据权利要求I或2所述的摄像装置，其特征在于， 所述摄像装置还具有变换表，其规定所述曝光时间与所述模糊内核的尺寸之间的对应关系， 所述模糊内核决定部，基于所述变换表来决定所述模糊内核的尺寸。4.根据权利要求3的所述的摄像装置，其特征在于， 所述变换表规定所述曝光时间与所述模糊内核相对于基准尺寸的倍率之间的对应关系O5.根据权利要求I 4的任一项所述的摄像装置，其特征在于， 当将所述模糊内核作为第一模糊内核时， 所述模糊内核决定部，决定对所述第2图像中的因手抖动引起的模糊进行规定的第2模糊内核， 所述图像复原部，使用所述第I模糊内核以及所述第2模糊内核来生成所述复原图像。6.根据权利要求5所述的摄像装置，其特征在于， 所述图像处理部具有图像合成部，其合成所述第I图像以及所述第2图像来生成第3图像， 所述复原部使用所述第I模糊内核以及所述第2模糊内核，由所述第3图像来生成所述复原图像。7.根据权利要求5所述的摄像装置，其特征在于， 所述图像处理部具有合成多个图像的图像合成部， 所述图像复原部使用所述第I模糊内核，由所述第I图像来生成第I复原过程的图像，并使用所述第2模糊内核，由所述第2图像来生成第2复原过程的图像， 所述图像合成部通过合成所述第I复原过程的图像和所述第2复原过程的图像...
【专利技术属性】
技术研发人员：石井育规，物部祐亮，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。