图像处理设备、图像处理方法以及程序技术

自动确定捕获图像中的主要被摄体。该图像处理设备检测图像内存在的被摄体与成像位置的距离的时间上的变化，并且基于该检测确定与成像位置的被摄体的接近趋势或远离趋势。然后，基于确定的每个被摄体的接近或远离趋势(接近趋势或远离趋势)来确定主要被摄体。

【技术实现步骤摘要】
【国外来华专利技术】
本公开内容涉及用于执行确定图像中主要被摄体的处理的图像处理设备、图像处理方法以及程序。
技术介绍
最近的数码静止照相机和数码摄像机通常具有面部检测功能，并且具有根据面部位置和区域来最优地匹配照相机的各种参数(焦点、亮度等)的功能。另一方面，专利文献I公开了如下技术:用户指定并选择要在捕获图像中被跟踪的目标被摄体的“主要被摄体”。此外，例如，如果使用在上述专利文献2、3和4中公开的技术，则可以实现包围任意被摄体的全身的框的被摄体跟踪。此外，还存在控制光学系统等的功能(诸如自动对焦和自动曝光)，使得捕获图像中的期望区域被检测和跟踪，以便优化该区域。如上所述，如下技术是已知的:在捕获图像中跟踪由用户指定的图像作为主要被摄体(例如诸如面部的图像区域)、对焦在面部区域等。引用列表专利文献专利文献1:JP2011-166305A专利文献2:JP2011-146826A专利文献3:JP2011-146827A专利文献4:JP2011-160379A
技术实现思路
技术问题但是，在捕获图像中，要进行跟踪或对焦的期望区域(即“主要被摄体”)目前是通过由拍摄者利用任何方法从“多个候选区域”中直接选择一个候选来决定的，其中这多个候选区域从各种检测器获得。例如，在握持照相机的状态下，通过从投影到在触摸面板的画面上显示的直通图像(在操控快门的时间之外的其它时间显示的被摄体的监视图像)上的多个面部选择任意面部的动作来选择主要被摄体。作为替代，在用户指定的时间(半压快门等)将在预定区域中存在的被摄体设定为主要被摄体。但是，当在实际的使用示例中考虑用户界面时，存在“由拍摄者选择主要被摄体”的动作本身就困难的情况。例如，当用户想要使用维持对来回移动的被摄体对焦的功能时，用户难以在瞄准被摄体的同时利用他或她握持照相机的手指来选择该被摄体。例如，存在由于对被摄体的变化(移动)的用户的反应速度而导致指定困难的情况。例如，存在难以精确地指定在直通图像的画面上来回移动的被摄体的情况。此外，在用户首先将照相机握持在他或她的手中并将照相机转向被摄体以选择被摄体的情形下，用户难以执行利用他或她的手指在画面上选择主要被摄体的动作。特别地，在跟踪被摄体(例如用户改变成像方向以使照相机移动用于平摇(pan)或俯仰(tilt))的情形下，几乎不可能选择主要被摄体。此外，存在用户难以以布置了触摸面板的显示画面的分辨率选择被摄体的情况。此外，还存在如下情况:难以依赖于布置了触摸面板的显示画面上被摄体的尺寸和用户的手指的尺寸(厚度)来合适地指定期望被摄体。此外，还存在如下情况:由于照相机系统的时滞(例如实际场景与捕获图像的直通图像之间的时滞)而使得用户难以合适地指定被摄体。另外，当要在动态图像的成像和记录期间执行这种指定操控时，可能存在如下情况:可能原样地记录由选择主要被摄体的动作而造成的图像抖动，或者在由暂时屏蔽造成的跟踪丢失(失败)或出框时用户可能被强迫采取再选择的动作，等等。如上所述，手持式照相机存在如下问题:选择主要被摄体的动作本身在需要该功能的许多使用示例中是困难的，这对拍摄者是有压力的。因此，本公开内容旨在实现如下技术:确定诸如拍摄者的用户期望的目标被摄体，并且在没有用户有意地选择该被摄体的动作的情况下将该被摄体设定为主要被摄体。问题的解决方案根据本公开内容，图像处理设备包括:被摄体距离变化确定单元，配置为检测从成像位置到图像中存在的每个被摄体的距离的时间变化，并且基于该检测确定每个被摄体相对于成像位置的接近或远离趋势；以及主要被摄体确定单元，配置为基于由被摄体距离变化确定单元确定的每个被摄体的接近或远离趋势来确定主要被摄体。根据本公开内容，图像处理方法包括:检测从成像位置到图像中存在的每个被摄体的距离的时间变化，并且基于该检测确定每个被摄体相对于成像位置的接近或远离趋势；以及基于确定的每个被摄体的接近或远离趋势来确定主要被摄体。根据本公开内容的一种程序使运算处理设备执行用于实现图像处理设备或图像处理方法的处理。根据本公开内容的实施例，执行在图像数据中自动确定主要被摄体的主要被摄体确定处理。例如，当用户握持成像装置以执行成像时，用户在一些情况下瞄准正在接近的被摄体或正在远离的被摄体。例如，存在孩子、朋友、宠物等正在接近握持照相机的拍摄者的情况，或者火车、飞机、野鸟等正在从照相机远离的情况。根据这样的使用情况(成像目标)，存在将正在接近的被摄体设定为成像目标或者将正在远离的被摄体设定为成像目标的情况。因此，通过确定相对于被摄体的成像位置的接近或远离趋势并且基于每个确定的被摄体的接近或远离趋势来确定主要被摄体，可以估计用户认为是主要或主角的被摄体，因此可以相应地执行自动的主要被摄体确定。本专利技术的有益效果根据本公开内容，在捕获图像中自动确定主要被摄体，因此不需要诸如拍摄者的用户执行选择主要被摄体的动作。因此，可以实现产品附加值的增强，包括当利用手持安装了本公开内容的图像处理设备的成像装置来执行成像时可操作性的改进，对用户的压力的减小，以及由自动的主要被摄体确定而引起的各种功能的进一步实现。【附图说明】图1是本公开内容实施例的图像处理设备的配置例的框图。图2是该实施例的图像处理设备的主要被摄体确定处理的流程图。图3是第一实施例的成像装置的框图。图4是第一实施例的主要被摄体确定的概述的说明图。图5是第一实施例的接近确定的说明图。图6是第一实施例的接近确定和主要被摄体确定处理的流程图。图7是第二实施例的成像装置的框图。图8是第二实施例的接近确定和主要被摄体确定处理的流程图。图9是第三实施例的远离(recess1n)确定的说明图。图10是第三实施例的远离确定和主要被摄体确定处理的流程图。图11是第四实施例的成像装置的框图。图12是第四实施例的区域划分块的说明图。图13是第四实施例的接近确定的说明图。图14是第四实施例的接近确定和主要被摄体确定处理的流程图。图15是第四实施例的每块中时间对应处理的流程图。图16是第四实施例的每块中时间对应处理的说明图。图17是第四实施例的主要被摄体设定处理的流程图。图18是第四实施例的主要被摄体设定处理的说明图。图19是当实施例应用到计算机设备时的框图。【具体实施方式】在下文中，将按以下次序描述实施例。〈1.实施例的图像处理设备的配置〉<2.成像装置的配置〉<3.主要被摄体确定的机会和目的等><4.成像装置的第一实施例><5.成像装置的第二实施例><6.成像装置的第三实施例><7.成像装置的第四实施例>〈8.对程序和计算机设备的应用><9.修改例 >〈1.实施例的图像处理设备的配置〉图1示出根据实施例的图像处理设备的配置例。图像处理设备I包括主要被摄体确定单元2和被摄体距离变化确定单元3。被摄体距离变化确定单元3检测关于图像中存在的被摄体与成像位置的距离的时间变化，并基于该检测确定在被摄体的成像位置处的接近或远离趋势。接近或远离趋势是被摄体接近成像位置的接近趋势或者被摄体从成像位置远离的远离趋势之一。例如，被摄体距离变化确定单元3检测来自作为图像数据Dg顺序输入的帧图像的图像中的被摄体的距离变化，确定被摄体的接近或远离趋势，并向本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：被摄体距离变化确定单元，配置为检测从成像位置到图像中存在的被摄体的距离的时间变化，并且基于该检测确定被摄体相对于成像位置的接近或远离趋势；以及主要被摄体确定单元，配置为基于由被摄体距离变化确定单元确定的每个被摄体的接近或远离趋势来确定主要被摄体。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：木下雅也，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP