图像处理设备及其控制方法技术

公开了一种在降低功耗的同时实现良好性能的图像处理设备及其控制方法。该图像处理设备包括第一跟踪部件和第二跟踪部件，该第二跟踪部件与第一跟踪部件相比具有更高处理准确度和更大运算负荷。图像处理设备计算与在要应用跟踪处理的对象帧中确定的作为跟踪对象的被摄体区域的跟踪的难度有关的评估值。图像处理设备基于评估值来针对对象帧的后续帧启用第一跟踪部件和第二跟踪部件这两者，或停用第一跟踪部件和第二跟踪部件其中至少之一。一跟踪部件和第二跟踪部件其中至少之一。一跟踪部件和第二跟踪部件其中至少之一。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备及其控制方法


[0001]本专利技术涉及图像处理设备及其控制方法，并且特别涉及被摄体跟踪技术。

技术介绍

[0002]诸如数字照相机等的一些图像处理设备具有通过随时间应用诸如面部区域等的特征区域的检测来跟踪该特征区域的功能(被摄体跟踪功能)。使用预训练的神经网络来跟踪被摄体的设备也是已知的(专利文献1)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2017
‑
156886

技术实现思路

[0006]专利技术要解决的问题
[0007]与使用图像区域之间的相关性或相似性等的情况相比，使用神经网络可以提高被摄体跟踪的准确度。然而，使用神经网络的处理涉及高运算负荷并且需要高速处理器和大规模电路，并且因此存在功耗高的问题。例如，如果将使用神经网络的被摄体跟踪应用于实时取景显示用的运动图像，则由于实时取景显示而导致的电池消耗会成为问题。
[0008]鉴于传统技术的这些问题而构思了本专利技术。本专利技术的目的是提供一种具有在抑制功耗的同时实现良好性能的被摄体跟踪功能的图像处理设备及其控制方法。
[0009]用于解决问题的方案
[0010]根据本专利技术的一个方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；计算部件，用于基于所述确定部件所确定的被摄体区域来计算与跟踪的难度有关的评估值；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部件，用于基于所述评估值来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述评估值，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。
[0011]根据本专利技术的另一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部
件，用于基于所述检测部件所检测到的被摄体的类型，来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述检测部件所检测到的被摄体的类型，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。
[0012]根据本专利技术的又一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；计算部件，用于基于所述候选区域的检测结果，来计算与用于从所述候选区域中确定要经受跟踪处理的区域的确定处理的难度有关的评估值；对象确定部件，其包括第一确定部件和第二确定部件，所述对象确定部件用于对所述检测部件所检测到的候选区域进行所述确定处理；以及控制部件，用于基于所述评估值来控制所述第一确定部件的操作和所述第二确定部件的操作，其中，所述第二确定部件与所述第一确定部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述评估值，启用所述第一确定部件和所述第二确定部件这两者，或者停用所述第一确定部件和所述第二确定部件其中之一，或者停用所述第一确定部件和所述第二确定部件这两者。
[0013]根据本专利技术的又一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；对象确定部件，用于进行确定处理，所述确定处理用于从所述检测部件所检测到的候选区域中确定要经受跟踪处理的区域，所述对象确定部件包括第一确定部件和第二确定部件，所述第二确定部件与所述第一确定部件相比具有更高处理准确度和更大运算负荷；以及控制部件，用于基于所述候选区域的检测结果，来控制所述第一确定部件的操作和所述第二确定部件的操作，其中，所述控制部件基于所检测到的候选区域的类型和数量，启用所述第一确定部件和所述第二确定部件这两者，或者停用所述第一确定部件和所述第二确定部件其中之一，或者停用所述第一确定部件和所述第二确定部件这两者。
[0014]根据本专利技术的还一方面，提供了一种存储有程序的非暂时性机器可读介质，所述程序用于使计算机用作根据本专利技术的电子装置的控制部件。
[0015]专利技术的效果
[0016]根据本专利技术，可以提供一种具有在抑制功耗的同时实现良好性能的被摄体跟踪功能的图像处理设备及其控制方法。
[0017]通过以下结合附图的说明，本专利技术的其他特征和优点将变得明显。注意，在附图中，相同的附图标记表示相同或类似的组件。
附图说明
[0018]并入在说明书中并构成说明书的一部分的附图示出本专利技术的实施例，并且这些附图与描述一起用于解释本专利技术的原理。
[0019]图1是示出根据第一实施例的摄像设备的功能配置的示例的框图。
[0020]图2A是示出根据第一实施例的摄像设备中的被摄体跟踪结果的显示的示例的图。
[0021]图2B是示出根据第一实施例的摄像设备中的被摄体跟踪结果的显示的示例的图。
[0022]图3是与第一实施例中的难度得分计算处理有关的流程图。
[0023]图4是与第一实施例中的基于难度得分的控制操作有关的流程图。
[0024]图5是与根据第一实施例的摄像设备的处理有关的示例时序图。
[0025]图6是与第一实施例中的跟踪处理结果的使用有关的时序图。
[0026]图7是与第一实施例中的基本实时取景显示操作有关的流程图。
[0027]图8A是与第一实施例中的被摄体跟踪期间的实时取景显示操作有关的流程图。
[0028]图8B是与第一实施例中的被摄体跟踪期间的实时取景显示操作有关的流程图。
[0029]图9是示出根据第二实施例的摄像设备的功能配置的示例的框图。
[0030]图10是示出第二实施例中的被摄体跟踪期间的实时取景显示的示例的图。
[0031]图11A是与第二实施例中的难度得分计算处理有关的流程图。
[0032]图11B是与第二实施例中的难度得分计算处理有关的流程图。
[0033]图12是与第二实施例中的基于难度得分的控制操作有关的流程图。
[0034]图13是本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理设备，其特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；计算部件，用于基于所述确定部件所确定的被摄体区域来计算与跟踪的难度有关的评估值；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部件，用于基于所述评估值来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述评估值，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。2.根据权利要求1所述的图像处理设备，其特征在于，所述计算部件基于被摄体区域的大小、被摄体区域的位置、被摄体的类型以及与相同类型的被摄体有关的被摄体区域的总数其中至少之一，来计算所述评估值。3.根据权利要求1或2所述的图像处理设备，其特征在于，所述评估值越高，所述跟踪处理的难度越高，以及当所述评估值至少是第一阈值时，所述控制部件停用所述第一跟踪部件并启用所述第二跟踪部件。4.根据权利要求1至3中任一项所述的图像处理设备，其特征在于，所述评估值越高，所述跟踪处理的难度越高，以及当所述评估值小于第二阈值时，所述控制部件停用所述第二跟踪部件并启用所述第一跟踪部件。5.根据权利要求1至4中任一项所述的图像处理设备，其特征在于，当启用所述第一跟踪部件和所述第二跟踪部件这两者时，与所述第一跟踪部件的操作频率相比，所述控制部件降低所述第二跟踪部件的操作频率。6.根据权利要求1至5中任一项所述的图像处理设备，其特征在于，当所述确定部件所确定的被摄体区域和由所述跟踪部件估计位置的被摄体区域涉及相同被摄体时，相对于所述第一跟踪部件对所述对象帧的操作和所述第二跟踪部件对所述对象帧的操作，所述控制部件不改变所述第一跟踪部件对后续帧的操作和所述第二跟踪部件对后续帧的操作。7.根据权利要求1至6中任一项所述的图像处理设备，其特征在于，当所述确定部件所确定的被摄体区域和由所述跟踪部件估计位置的被摄体区域涉及不同被摄体时，所述控制部件基于所述评估值来确定所述第一跟踪部件对后续帧的操作和所述第二跟踪部件对后续帧的操作。8.根据权利要求1至7中任一项所述的图像处理设备，其特征在于，所述第二跟踪部件使用神经网络执行所述跟踪处理。
9.一种图像处理设备，其特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部件，用于基于所述检测部件所检测到的被摄体的类型，来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述检测部件所检测到的被摄体的类型，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。10.一种图像处理设备的控制方法，其特征在于，所述图像处理设备包括：跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，所述控制方法包括：检测步骤，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定步骤，用于从所述候选区域中确定要跟踪的被摄体区域；计算步骤，用于基于所述确定步骤中所确定的被摄体区域来计算与跟踪的难度有关的评估值；以及控制步骤，用于基于所述评估值来控制所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述控制步骤基于所述评估值，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。11.一种图像处理设备的控制方法，其特征在于，所述图像处理设备包括：跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，所述控制方法包括：检测步骤，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定步骤，用于从所述候选区域中确定要跟踪的被摄体区域；以及控制步骤，用于基于所述检测步骤中所检测到的被摄体的类型，来控制所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述控制步骤基于所述检测步骤中所检测到的被摄体的类型，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。12.一种程序，用于使图像处理设备中所包括的计算机用作根据权利要求1至9中任一
项所述的图像处理设备中所包括的各个部件。13.一种...

【专利技术属性】
技术研发人员：宇佐美贵弘，大轮宁司，形川浩靖，植草友贵，相田徹，小贝侑弘，谷口浩之，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：