目标物体检测装置和方法、图像处理系统及存储介质制造方法及图纸

本公开公开了一种目标物体检测装置和方法、图像处理系统及存储介质。所述目标物体检测装置包括：从图像中提取特征的单元；基于所提取的特征及预生成的几何信息，在图像上获得具有所述预生成的几何信息的候选检测区域的单元，其中所述预生成的几何信息至少能够描述目标物体的整体形状；基于所提取的特征，从所生成的候选检测区域中检测图像中的候选目标物体的单元；以及，基于所检测的候选目标物体，确定图像中的目标物体的单元。根据本公开，可有效地提高目标物体的检测精度，也即，可有效地提高目标物体的检测率和目标物体的定位的准确率。

【技术实现步骤摘要】
目标物体检测装置和方法、图像处理系统及存储介质
本专利技术涉及图像处理，尤其涉及例如图像中的目标物体的检测。
技术介绍
从图像或视频中检测出目标物体(例如，人脸、人体等)，对于后续的图像处理应用(例如，人脸识别、人物跟踪、人数统计等)具有重要的应用价值。当前常规的检测目标物体的做法是：利用预生成的具有若干规则的矩形检测窗(也即，矩形检测区域)、以滑动窗的方式对图像进行扫描来检测出图像中的目标物体。例如，美国专利US9858496B2中公开了一种利用神经网络检测目标物体的示例性技术。其中，该示例性技术用到的神经网络中包括区域提案网络层(RegionProposalNetwork，RPN)，在RPN层中包含若干长宽比率和缩放比率固定的矩形检测区域。其中，该示例性技术主要是：先以滑动窗的方式、利用RPN层对从输入图像中提取的特征进行扫描，并将扫描结果投影到输入图像上以得到若干候选矩形检测区域；然后利用这些候选矩形检测区域进行目标物体的分类和定位操作以确定出最终的目标物体。如上所述可知，在进行目标物体的检测过程中，上述的做法借助使用的预生成的检测区域是具有若干规则的矩形区域，从而上述的做法可有效地检测出在常规形态下的目标物体，也即上述的做法可有效地检测出具有常规形状的目标物体。然而，在很多场景中，目标物体通常会被遮挡(例如，目标物体被部分遮挡)和/或会发生变形(例如，目标物体的姿态发生变化、图像的拍摄角度发生变化)。也就是说，在很多场景中，目标物体通常会以局部形态和/或变形形态呈现，从而使得目标物体只能呈现局部形状。由于矩形检测区域无法很好地描述目标物体的局部形状，从而在存在具有局部形状的目标物体的情况下，利用上述的做法将无法很好地从图像中检测出这类目标物体，从而影响目标物体的检测精度。换句话说，目标物体的召回率和目标物体的定位的准确率将受到影响。
技术实现思路
鉴于上面的
技术介绍
中的记载，本公开旨在解决上述问题中的至少一点。根据本公开的一个方面，提供一种目标物体检测装置，所述目标物体检测装置包括：提取单元，从图像中提取特征；生成单元，基于所提取的特征及预生成的几何信息，在所述图像上生成具有所述预生成的几何信息的候选检测区域，其中所述预生成的几何信息至少能够描述目标物体的整体形状；检测单元，基于所提取的特征，从所生成的候选检测区域中检测所述图像中的候选目标物体；以及，确定单元，基于所检测的候选目标物体，确定所述图像中的目标物体。根据本公开的另一个方面，提供一种目标物体检测方法，所述目标物体检测方法包括：提取步骤，从图像中提取特征；生成步骤，基于所提取的特征及预生成的几何信息，在所述图像上生成具有所述预生成的几何信息的候选检测区域，其中所述预生成的几何信息至少能够描述目标物体的整体形状；检测步骤，基于所提取的特征，从所生成的候选检测区域中检测所述图像中的候选目标物体；以及，确定步骤，基于所检测的候选目标物体，确定所述图像中的目标物体。其中，所述预生成的几何信息还能够描述目标物体的局部形状。其中，所述预生成的几何信息例如由目标物体的位图或关键点构成。根据本公开的再一方面，提供一种图像处理系统，所述图像处理系统包括：获取设备，用于获取图像或视频；如上所述的目标物体检测装置，用于检测所获取的图像或视频中的面部；以及，后处理装置，基于所检测到面部，执行后续的图像处理操作；其中，所述获取装置、所述目标物体检测装置和所述后处理装置经由网络相互连接。根据本公开的又一方面，提供一种存储介质，其中，该存储介质存储有指令，该指令在由处理器执行时能使得执行一种目标物体检测方法，所述目标物体检测方法包括：提取步骤，从图像中提取特征；生成步骤，基于所提取的特征及预生成的几何信息，在所述图像上生成具有所述预生成的几何信息的候选检测区域，其中所述预生成的几何信息至少能够描述目标物体的整体形状；检测步骤，基于所提取的特征，从所生成的候选检测区域中检测所述图像中的候选目标物体；以及，确定步骤，基于所检测的候选目标物体，确定所述图像中的目标物体。其中，所述预生成的几何信息还能够描述目标物体的局部形状。其中，所述预生成的几何信息例如由目标物体的位图或关键点构成。在本公开中，在生成候选检测区域的过程中，本公开借助使用了能够描述目标物体的形状的几何信息，从而使得所生成的候选检测区域中也具有能够描述目标物体的形状的信息。其中，所描述的目标物体的形状可以是目标物体的整体形状，且还可以是目标物体的局部形状。因此，不管是对于目标物体以整体形态呈现的场景还是对于目标物体以局部形态和/或变形形态呈现的场景，本公开均可有效地从图像中检测出相应场景下的目标物体。因此，根据本公开，可有效地提高目标物体的检测精度，也即，可有效地提高目标物体的召回率和目标物体的定位的准确率。通过以下参考附图对典型实施例的说明，本公开的其它特征和优点将变得明显。附图说明并入说明书中并构成说明书的一部分的附图例示本公开的实施例，并且与实施例的描述一起用于解释本公开的原理。图1A～1C示意性地示出了根据本公开的被遮挡的人脸的示例。图2示意性地示出了根据本公开的被部分地遮挡的人体的示例。图3A～3D示意性地示出了根据本公开的能够描述目标物体的整体/局部形状的几何信息的示例。图4是示意性地示出可实现根据本公开实施例的技术的硬件构造的框图。图5是例示根据本公开实施例的目标物体检测装置的构造的框图。图6示意性示出可用于本公开实施例的预生成的神经网络的示意性结构。图7示意性地示出根据本公开实施例的目标物体检测方法的一种流程图。图8A～8C示意性地示出了根据本公开实施例所生成的候选检测区域、所检测的候选目标物体及所确定的目标物体的示例。图9A～9E示意性地示出了根据本公开实施例的两个候选目标物体之间的重叠度的确定的示例。图10示出根据本公开的一种示例性图像处理系统的布置。具体实施方式下面将参照附图详细地描述本公开的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本公开及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。如上所述，在很多场景中，有些目标物体通常会因被遮挡和/或因发生变形而以局部形态和/或变形形态呈现，从而使得这些目标物体只能呈现局部形状。专利技术人发现，一方面，对于以局部形状呈现的某一种类的目标物体，其通常只会呈现特定的几种局部形态或变形形态。例如，在目标物体是人脸的情况下，其所呈现的局部形态例如通常是眼部被外物遮挡(例如如图1A中所示)、嘴部被口罩遮挡(例如如图1B中所示)、嘴部被他人遮挡(例如如图1C中本文档来自技高网...

【技术保护点】
1.一种目标物体检测装置，其特征在于，所述目标物体检测装置包括：/n提取单元，从图像中提取特征；/n生成单元，基于所提取的特征及预生成的几何信息，在所述图像上生成具有所述预生成的几何信息的候选检测区域，其中所述预生成的几何信息至少能够描述目标物体的整体形状；/n检测单元，基于所提取的特征，从所生成的候选检测区域中检测所述图像中的候选目标物体；以及/n确定单元，基于所检测的候选目标物体，确定所述图像中的目标物体。/n

【技术特征摘要】
1.一种目标物体检测装置，其特征在于，所述目标物体检测装置包括：
提取单元，从图像中提取特征；
生成单元，基于所提取的特征及预生成的几何信息，在所述图像上生成具有所述预生成的几何信息的候选检测区域，其中所述预生成的几何信息至少能够描述目标物体的整体形状；
检测单元，基于所提取的特征，从所生成的候选检测区域中检测所述图像中的候选目标物体；以及
确定单元，基于所检测的候选目标物体，确定所述图像中的目标物体。


2.根据权利要求1所述的目标物体检测装置，其中，所述预生成的几何信息进一步描述目标物体的局部形状；
其中，所生成的候选检测区域包括具有目标物体的整体形状的检测区域和具有目标物体的局部形状的检测区域。


3.根据权利要求1或2所述的目标物体检测装置，其中，对于所述预生成的几何信息中能够描述目标物体的整体形状的几何信息，针对一个种类的目标物体，相应的几何信息基于该类目标物体在检测视角下以其整体形态呈现的样本获得，其中在所述样本中标注有该类目标物体的整体形状。


4.根据权利要求2所述的目标物体检测装置，其中，对于所述预生成的几何信息中能够描述目标物体的局部形状的几何信息，针对一个种类的目标物体，相应的几何信息基于该类目标物体在检测视角下以其局部形态和/或变形形态呈现的样本获得，其中在所述样本中标注有该类目标物体的局部形状。


5.根据权利要求1或2所述的目标物体检测装置，其中，所述预生成的几何信息由目标物体的位图或关键点构成。


6.根据权利要求1或2所述的目标物体检测装置，其中，所述检测单元通过基于所提取的特征及所生成的候选检测区域中所具有的几何信息对所生成的候选检测区域进行分类和定位操作来检测所述图像中的候选目标物体。


7.根据权利要求1或2所述的目标物体检测装置，其中，所述确定单元通过基于所检测的候选目标物体之间的距离对所检测的候选目标物体进行选择或合并操作来确定所述图像中的目标物体；
其中，任意两个候选目标物体之间距离通过这两个候选目标物体中所具有的几何信息获得。

【专利技术属性】
技术研发人员：黄耀海，李岩，金浩，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP