物体识别装置以及物体识别方法制造方法及图纸

本发明专利技术设置为能够不受周围的环境的影响地适当地识别物体。在物体识别装置(1)中，具备：存储识别候补的物体的基准图像、基准图像的特征点以及各特征点的特征量的数据保持部(113)；取得识别处理对象的图像即场景图像的图像取得部(12)；检测图像取得部(12)取得的场景图像的各区域中的表示清晰的程度的清晰度的清晰度计算部(111)；检测场景图像中的特征点并进行特征点的匹配的特征取得部(114)；以及匹配计算部(115)，匹配计算部(115)构成为通过不同的方法来执行在清晰度为第1范围的场景图像的第1区域和清晰度成为低于第1范围的第2范围的场景图像的第2区域中的特征点的提取方法。

【技术实现步骤摘要】
物体识别装置以及物体识别方法
本专利技术涉及识别图像中的物体的物体识别装置以及物体识别方法。
技术介绍
在制造领域以及物流领域中，期望物体的拾取作业以及组装作业的自动化。为了使这些作业自动化而使用机器人。在使用机器人处理作业对象物体的情况下，需要测量作业对象物体的位置以及姿势的单元。为此，使用视觉传感器。为了使机器人进行处理物体的作业，需要识别由视觉传感器测量的物体的种类。例如通过利用照相机测量作业区域的物体，并将预先准备的对象模型与测量结果进行比较来进行物体的识别。例如，当在作业区域中测量物体时，照明的光、影子可能映入于测量结果。这样，若照明、影子映入于测量结果，则存在模型与测量结果的差增大，从而物体的识别可能失败。与此相对，在专利文献1中公开了如下的技术：预先准备针对规定对象物的清晰度相互不同的多个基准图像的每一个的基准数据，选择与部分区域图像的清晰度对应的基准数据，判定在部分区域图像中是否示出了规定对象物。专利文献1：日本特开2005－346287号公报在专利文献1中，使用与清晰度对应的图像进行比较，由此判定是否为规定对象物，但在将该技术应用于特征点匹配的情况下，例如，若使用清晰度低的图像，则物体的识别精度可能降低。
技术实现思路
本专利技术是鉴于上述情况而完成的，其目的在于，提供一种能够不受周围的环境的影响地适当而识别物体的技术。为了实现上述目的，一个观点的物体识别装置用于识别物体，该物体识别装置具备：存储部，其存储识别候补的物体的基准图像、基准图像中的特征点以及各特征点的特征量；图像取得部，其取得识别处理对象的图像的即场景图像；清晰度计算部，其检测图像取得部取得的场景图像的各区域中的表示清晰的程度的清晰度；以及匹配计算部，其检测场景图像中的特征点，并进行特征点的匹配，匹配计算部通过不同的方法来执行在清晰度为第1范围的场景图像的第1区域和清晰度为低于第1范围的第2范围的场景图像的第2区域中的特征点的检测方法、以及上述第1区域和上述第2区域中的特征量的检测方法的至少一方。根据本专利技术，能够不受周围的环境的影响而适当地识别物体。附图说明图1是表示物体识别装置的功能结构的框图。图2是表示物体识别装置的应用例的说明图。图3是表示物体识别装置的硬件构成的框图。图4是基准物体登记处理的流程图。图5是物体识别处理的流程图。图6是根据清晰度使用不同的特征量进行物体识别的处理的说明图。具体实施方式以下，基于附图，对本专利技术的实施方式进行说明。在本实施方式中，例如，预先将识别候补的物体的基准图像(模型图像)与模型图像中的各单位区域(1个以上的像素的区域)的特征量对应起来进行存储，取得作为识别处理对象的图像的场景图像，检测取得的场景图像的各单位区域中的表示清晰的程度的清晰度，检测模型图像与场景图像中的特征点，进行特征点的匹配，通过不同的方法执行在清晰度为第1范围的场景图像的第1区域中的特征点的检测和清晰度为低于第1范围的第2范围的上述场景图像的第2区域中的特征点的检测。这里，清晰度表示图像的清晰的程度，例如，也可以如以下的(1)～(4)所示。(1)单位区域的清晰度也可以设为单位区域内的像素中的亮度梯度的大小或者海森矩阵的最大固有值。另外，单位区域的清晰度也可以设为包含单位区域及其周围的像素的像素组中的亮度梯度的大小或者海森矩阵的最大固有值的最大值。(2)单位区域的清晰度也可以设为单位区域内的亮度的分散或者标准偏差。(3)预先决定的单位区域(例如，格子状的分割区域)的清晰度也可以设为通过对单位区域进行二维傅立叶变换而得的空间频率分布而计算出的值(参照日本特开2005－346287号公报)。(4)在单位区域的清晰中，也可以设为在单位区域内通过特定的特征点检测方法(ORB(OrientedFASTandRotatedBRIEF)等)而检测出的特征点的数量。另外，特征点的检测方法不同是指例如可以包含用于检测特征点的处理本身不同、在检测特征点的方法中利用的特征量的种类不同。这样的本实施方式的物体识别装置例如用于识别物体，该物体识别装置也能够表现为具备：存储部，其存储识别候补的物体的基准图像、基准图像的特征点、各特征点中的特征量；图像取得部，其取得作为识别处理对象的图像的场景图像；清晰度计算部，其检测图像取得部取得的场景图像的各区域中的表示清晰的程度的清晰度；以及匹配计算部，其检测场景图像中的特征点，并进行特征点的匹配，匹配计算部通过不同的方法执行清晰度为第1范围的场景图像的第1区域与清晰度为低于第1范围的第2范围的场景图像的第2区域中的特征点的检测方法、以及第1区域与第2区域中的特征量的检测方法的至少一方。根据本实施方式的物体识别装置，能够根据图像的清晰度，进行适于该区域的特征点的检测并进行特征点匹配，或者进行适于该区域的特征量的检测并进行特征点匹配，从而能够提高基于特征点匹配的物体识别的精度。因此，针对照明映入场景图像而变白的区域、影子映入而变黑的区域，也能够适当地进行特征点匹配，从而能够提高物体识别精度。【实施例1】使用图1～图6，对第1实施例进行说明。图1是表示物体识别装置的功能结构的框图。物体识别装置1例如具备进行后述的计算处理的计算部11、图像取得部12、输出识别结果的输出部13。图像取得部12取得成为判定是否存在识别候补的物体的处理的对象的图像(场景图像)的数据。作为场景图像的数据，包含能够确定多种特征量的信息。例如，场景图像的数据也可以包含各像素的亮度信息、直至相对于视角的各像素的三维坐标信息(三维位置信息的一个例子)。在该场景图像中存在包含判定候补的物体的情况。作为物体，例如，存在在各种制造业中被处理的部件、在物流工业中被处理的商品等。计算部11例如具备清晰度计算部111、特征选择部112、作为存储部的一个例子的数据保持部113、特征取得部114、匹配计算部115。这里，在本实施例中，在权利要求书的匹配计算部中包含有特征取得部114。数据保持部113将与预先取得的多个种类的基准物体有关的数据(基准物体的图像(模型图像)的数据)保持于存储设备101(参照图3)。也能够将基准物体称为教示物体。原因是成为识别候补的基准物体的图像预先登记于物体识别装置1。作为与基准物体有关的数据，包含有与基准物体有关的特征点(特征点的坐标)、该特征点中的多个种类的特征量的数据。作为与基准物体有关的特征点，也可以是通过多个种类的特征点提取方法分别提取的特征点。作为特征点提取方法，例如可以使用SIFT(ScaleInvariantFeatureTransform)，也可以使用ORB等。作为多个种类的特征量，也可以是表现能力高的特征量(例如，SIFT特征量)、稳健程度高的特征量(例如，局部二进制模式(LBP)、不被照明条件影响的特征量(例如，像素位置、法线)中的任意多个。清晰度计算部111计算由图像取得部12取得的场景图像中的各单位区本文档来自技高网...

【技术保护点】
1.一种物体识别装置，其用于识别物体，其特征在于，/n所述物体识别装置具备：/n存储部，其存储识别候补的物体的基准图像、所述基准图像中的各特征点以及各特征点的特征量；/n图像取得部，其取得识别处理对象的图像即场景图像；/n清晰度计算部，其检测所述图像取得部取得的所述场景图像的各区域中的表示清晰的程度的清晰度；以及/n匹配计算部，其检测所述场景图像中的特征点，并进行所述特征点的匹配，/n所述匹配计算部通过不同的方法来执行在所述清晰度为第1范围的所述场景图像的第1区域和所述清晰度为低于所述第1范围的第2范围的所述场景图像的第2区域中的特征点的提取方法、以及所述第1区域和所述第2区域中的特征量的检测方法的至少一方。/n

【技术特征摘要】
20181226 JP 2018-2434321.一种物体识别装置，其用于识别物体，其特征在于，
所述物体识别装置具备：
存储部，其存储识别候补的物体的基准图像、所述基准图像中的各特征点以及各特征点的特征量；
图像取得部，其取得识别处理对象的图像即场景图像；
清晰度计算部，其检测所述图像取得部取得的所述场景图像的各区域中的表示清晰的程度的清晰度；以及
匹配计算部，其检测所述场景图像中的特征点，并进行所述特征点的匹配，
所述匹配计算部通过不同的方法来执行在所述清晰度为第1范围的所述场景图像的第1区域和所述清晰度为低于所述第1范围的第2范围的所述场景图像的第2区域中的特征点的提取方法、以及所述第1区域和所述第2区域中的特征量的检测方法的至少一方。


2.根据权利要求1所述的物体识别装置，其特征在于，
所述存储部针对所述基准图像的各特征点，存储表现能力高的第1特征量和稳健程度高的第2特征量，
所述匹配计算部针对所述场景图像的所述第1区域，使用所述第1特征量进行特征点的匹配，针对所述第2区域，使用所述第2特征量进行特征点的匹配。


3.根据权利要求2所述的物体识别装置，其特征在于，
所述第1特征量是SIFT特征量，
所述第2特征量是局部二进制模式。


4.根据权利要求2或3所述的物体识别装置，其特征在于，
所述存储部针对所述基准图像的各区域，进一步存储表示图像的三维位置信息的第3特征量，
所述匹配计算部针对清晰度为低于所述第2范围的第3范围的所述场景图像的第3区域，使用所述第3特征量进行与所述基准图像的特征点的匹配。


5.根据权利要求1～4中任一项所述的物体识别装置，其特征在于，
所述清晰度是基于构成规定的单位区域的像素中的亮度梯度的大小或者海森矩阵的最大固有值、所述单位区域内的亮度分布或者标准偏差、对所述单位区域进行二维傅立叶变换而得的空间频率分布、以及在所述单位区域内通过规定的特征点检测方法而检测出的特征点的数量中至少任一个的值。


6.根据权利要求1～5中任一项所述的物体识别装置，其特征在于，
所述匹配计算部针对所述场景图像的所述第1区域内的特征点，通过相对于所述基准图像使用了SIFT的第1特征点提取方法来检测特征点，
所述匹配计算部针对所述场景图像的所述2区域内的特征点，通过与所述第1特征点提取方法不同的第2特征点提取方法来提取特征点。


7.根据权利要求2所述的物体识别装置，其特征在于，
所述匹配计算部进行：
(A2)基于从所述场景图像的所述第1区域中的特征点和成为与其对应的候补的所述基准图像的特征点的多个组中任意选择的一部分的组，计算表示基准图像的特征点的位置与所述场景图像的特征点的位置的关系的候补变换矩阵，
(B2)基于所述候补变换矩阵，对与所述基准图像的特征点的位置对应的场景图像的位置即对应位置进行确定，在所述对应位置为属于所述场景图像的所述第1区域的位置的情况下，在所述对应位置和与所述基准图像的特征点成为组的所述场景图像的特征点的位置的几何距离为规定的阈值以下的情况下，判定为正确地进行了这些特征点的组的对应，在所述对应位置为属于所述场景图像的所述第2区域的位置的情况下，在所述基准图像的所述特征点中的所述第2特征量与所述对应位置中的所述第2特征量的差为规定的阈值以下的情况下，将所述对应位置识别为所述场景图像的特征点，判定为正确地进行了这些特征点的组的对应，对正确地进行了对应的特征点的组的数量进行测量，
反复执行(C2)(A2)以及(B2)的处理，将正确地进行了对应的特征点的组的总数成为最多的候补变换矩阵决定为是所述基准图像与所述场景图像中的变换矩阵。


8.根据权利要求2所述的物体识别装置，其特征在于，
所述匹配计算部进行：
(A3)基于从所述场景图像的所述第1区域中的特征点和成为与其对应的候补的所述基准图像的特征点的多个组中任意选择的一部分的组，计算表示基准图像的特征点的位置与所述场景图像的特征点的位置的关系的候补变换矩阵，
(B3)基于所述候补变换矩阵，对与所述基准图像的特征点的位置...

【专利技术属性】
技术研发人员：矢野泰树，木村宣隆，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP