图像处理设备及其控制方法技术

提供一种图像处理设备及其控制方法，其中该图像处理设备可以灵活地控制重新照亮处理所使用的虚拟光源的位置并且校正被摄体的阴影。阴影状态检测单元针对图像内的被摄体区域来计算表示阴影的状态的评价值。然后，虚拟光源控制单元基于该评价值来设置虚拟光源，并且虚拟光添加单元将该虚拟光源所照射的虚拟光的效果施加到图像中。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备及其控制方法
本专利技术涉及一种图像处理设备及其控制方法，尤其涉及用于校正图像的明度的技术。
技术介绍
传统上，已知有用于通过向图像中的被摄体应用虚拟光效果来校正该被摄体的暗部的明度的技术(日本特开2010-135996)。这样使得可以在拍摄之后调整环境光所产生的被摄体的阴影(shading)。被摄体的阴影依赖于被摄体的三维形状和照射被摄体的光的方向。此外，照射被摄体的光的方向依赖于虚拟光源和被摄体之间的相对位置关系。因此，在用于使用虚拟光来校正被摄体的阴影的重新照亮(re-lighting)处理中，需要适当地确定虚拟光源的位置。然而，在日本特开2010-135996所述的技术中，为了减少被摄体的阴(shade)的目的，在与环境光相反的方向上照射被摄体，因此利用重新照亮处理可以实现的阴影的调整受到限制。
技术实现思路
本专利技术是有鉴于这种传统技术的问题而作出的，并且提供如下的图像处理设备及其控制方法，其中该图像处理设备可以通过灵活地控制重新照亮处理所使用的虚拟光源的位置来校正被摄体的阴影。根据本专利技术的方面，提供一种图像处理设备，包括：计算部件，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置部件，用于基于所述评价值来设置虚拟光源；以及校正部件，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。根据本专利技术的另一方面，提供一种摄像设备，包括：根据本专利技术的图像处理设备；以及摄像部件，用于通过拍摄来获取所述图像。根据本专利技术的又一方面，提供一种图像处理设备的控制方法，包括以下步骤：计算步骤，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置步骤，用于基于所述评价值来设置虚拟光源；以及校正步骤，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。根据本专利技术的又一方面，提供一种图像处理设备，包括：计算部件，用于计算表示图像中的关注区域的对比度的评价值；获取部件，用于获取照射所述图像中的关注区域的环境光的照射方向；设置部件，用于基于所述计算部件所计算出的评价值和所述获取部件所获取到的环境光的照射方向，来设置虚拟光源；以及校正部件，用于通过将所述虚拟光源的照明效果施加到所述图像中的关注区域内，来校正所述图像中的关注区域的对比度。根据本专利技术的另一方面，提供一种图像处理设备的控制方法，包括以下步骤：计算步骤，用于计算表示图像中的关注区域的对比度的评价值；获取步骤，用于获取照射所述图像中的关注区域的环境光的照射方向；基于所述计算步骤中所计算出的评价值和所述获取步骤中所获取到的环境光的照射方向，来设置虚拟光源；以及通过将所述虚拟光源的照明效果施加到所述图像中的关注区域内，来校正所述图像中的关注区域的对比度。根据本专利技术的又一方面，提供一种程序，用于使计算机用作根据本专利技术的图像处理设备。根据本专利技术的再一方面，提供一种计算机可读存储介质，用于存储根据本专利技术的程序。通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。附图说明图1是示出本专利技术中的数字照相机的结构的框图。图2是示出本专利技术中的图像处理单元的结构的框图。图3A是示出本专利技术的第一实施例中的阴影状态检测单元所进行的处理的流程图。图3B是示出被摄体和被摄体区域的示例的示意图。图4是示出第一实施例中的虚拟光源控制单元所进行的处理的流程图。图5是用于说明第一实施例中的用于确定虚拟光的照射方向的方法的示意图。图6A是示意性示出第二实施例中的被摄体和虚拟光源之间的关系的图。图6B是示意性示出第二实施例中的被摄体和虚拟光源之间的关系的图。图7是示出第二实施例中的虚拟光源控制单元所进行的处理的流程图。具体实施方式现在将根据附图来详细说明本专利技术的典型实施例。第一实施例图1是示出作为根据本专利技术的第一实施例的图像处理设备的示例的数字照相机100的结构的示例的框图。本专利技术的特征在于应用于拍摄图像的图像处理，并且更具体地，本专利技术的特征在于重新照亮处理的方法。因此，与拍摄或记录有关的结构并非必须的。在图1中，透镜组101是包括调焦透镜的变焦镜头。在透镜组101和摄像单元103之间设置配备有光圈功能的快门102。摄像单元103具有用于将透镜组101在摄像面上形成的光学图像转换成以像素为单位的电气信号的、以CCD或CMOS图像传感器为代表的图像传感器。A/D转换器104将摄像单元103所输出的模拟信号转换成数字信号(图像数据)。图像处理单元105对从A/D转换器104输出的图像数据进行诸如颜色插值(去马赛克)、白平衡调整和伽玛校正等的各种图像处理。图像处理单元105还对拍摄图像进行重新照亮处理。图像存储器106临时存储图像数据。存储器控制单元107控制相对于图像存储器106的(图像数据的)写入/读取。D/A转换器108将图像数据转换成模拟信号。显示单元109具有诸如LCD或有机EL显示器等的显示设备，并且显示各种GUI、实时取景图像和从记录介质112读出并再现的图像等。编解码单元110利用预定方法对图像存储器106中所存储的图像数据进行编码以将该图像数据记录到记录介质，并且对图像文件中所包括的编码图像数据进行解码以例如显示该图像数据。接口(I/F)111例如使诸如半导体存储卡或卡型硬盘等的可拆卸的记录介质112以机械和电气方式连接至数字照相机100。系统控制单元50例如可以是诸如CPU或MPU等的可编程处理器。系统控制单元50例如通过执行非易失性存储器121或内置非易失性存储器中所记录的程序以控制所需的块和电路，来实现数字照相机100的各功能。面部检测单元113检测拍摄图像中所包括的面部区域，并且针对所检测到的各面部区域获得诸如位置、大小和可靠度等的面部信息。注意，面部检测单元113可以使用诸如以下方法等的任意方法来检测面部区域：使用以神经网络为代表的学习的方法；或者用于使用模板匹配在图像区域中发现诸如眼睛、鼻子或嘴等的特征部位并且在相似度高的情况下识别出面部的方法。操作单元120整体指代用户向数字照相机100输入各种指示所使用的诸如按钮和开关等的输入装置。在显示单元109是触摸显示器的情况下，在操作单元120中包括触摸面板。在操作单元120中还可以包括以诸如语音输入或眼睛注视输入等的非接触方式输入指示的类型的输入装置。非易失性存储器121例如是电可擦除且可记录的EEPROM等。非易失性存储器121存储各种设置值和GUI数据、以及在系统控制单元50是MPU或CPU的情况下系统控制单元50要执行的程序。系统存储器122用于展开系统控制单元50的操作所用的(系统控制单元50的操作中使用的)常数和变量、或者从非易失性存储器121读出的程序等。接着，将说明数字照相机100所进行的用于拍摄图像的操作。例如，摄像单元103在快门102打开时，使用图像传感器对透镜组101在摄像面上形成的被摄体图像进行光电转换，并且将该图像作为模拟图像信号输出至A/D转换器104。A/D转换器104将从摄像单元103输出的模拟图像信号转换成数字图像信号(图像数据)，并且将该数字图像信号输出至图像处理单元105。图像处理单元105对来自A/D转换器104的图像数据或来自存储器控制单元107的图像数据进行诸如同步处理(去马赛克处理)和伽玛校正等的各种图像处理。此外，在图像处理单元105本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：计算部件，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置部件，用于基于所述评价值来设置虚拟光源；以及校正部件，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。

【技术特征摘要】
【国外来华专利技术】2014.09.26 JP 2014-1975061.一种图像处理设备，包括：计算部件，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置部件，用于基于所述评价值来设置虚拟光源；以及校正部件，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。2.根据权利要求1所述的图像处理设备，其中，在基于所述评价值判断为需要减少所述阴影的情况下，所述设置部件设置所述虚拟光源，使得所述虚拟光照射所述被摄体区域的阴影区域。3.根据权利要求1或2所述的图像处理设备，其中，在基于所述评价值判断为需要增加所述阴影的情况下，所述设置部件设置所述虚拟光源，使得所述被摄体区域中的由于环境光和所述虚拟光所引起的照射区域重叠。4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述计算部件对拍摄所述图像时的环境光的照射方向进行估计，以及所述设置部件基于所述评价值和所述环境光的照射方向来设置所述虚拟光源。5.根据权利要求4所述的图像处理设备，其中，在基于所述评价值判断为需要减少所述阴影的情况下，所述设置部件设置所述虚拟光源，使得由所述环境光的照射方向和表示所述被摄体区域的法线向量所形成的角度的符号不同于由所述虚拟光的照射方向和所述法线向量所形成的角度的符号。6.根据权利要求4或5所述的图像处理设备，其中，在基于所述评价值判断为需要增加所述阴影的情况下，所述设置部件设置所述虚拟光源，使得由所述环境光的照射方向和表示所述被摄体区域的法线向量所形成的角度的符号与由所述虚拟光的照射方向和所述法线向量所形成的角度的符号相同。7.根据权利要求1所述的图像处理设备，其中，在基于所述评价值判断为需要减少所述被摄体区域的阴影区域的情况下，所述设置部件设置所述虚拟光源，使得所述虚拟光照射所述被摄体区域的阴影区域。8.根据权利要求1或7所述的图像处理设备，其中，在基于所述评价值判断为需要增加所述被摄体区域的阴影区域的情况下，所述设置部件在使所述被摄体区域的亮度降低之后来设置所述虚拟光源。9.根据权利要求8所述的图像处理设备，其中，在基于所述评价值判断为需要增加所述被摄体区域的阴影区域的情况下，所述设置部件设置所述虚拟光源，使得利用所述虚拟光来照射由于所述降低而使得亮度变得相当于阴影区域的亮度的区域的一部分。10.根据权利要求1、7至9中任一项所述的图像处理设备，其中，所述计算部件还针对所述校正部件进行校正后的图像来计算所述评价值，以及在所述评价值不在预定的目标范围内的情况下，所述设置部件重新设置所述虚拟光源。11.根据权利要求10所述的图像处理设备，其中，重复所述计算部件所进行的所述评价值的计算和所述设置部件所进行的所述虚拟光源的重新设置，直到所述评价值落在所述目标范围内为止。12.根据权利要求1至11中任一项所述的图像处理设备，其中，所述设置部件基于所述评价值以及根据拍摄所述图像时所使用的拍摄模式或照相机参数而动态地设置的目标值，来设置所述虚拟光源。13.根据权利要求12所述的图像处理设备，其中，在所述图像的伽玛校正所使用的伽玛曲线具有强烈地表现对比度的特性的情况下，与该伽...

【专利技术属性】
技术研发人员：秦哲也，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP