检查装置、单元选择装置、检查方法以及检查程序制造方法及图纸

本发明专利技术的一方面涉及的检查装置使用第一推测模型从对象图像提取关注区域，使用关注区域的提取结果执行第二推测模型的运算处理，并根据第二推测模型的运算结果判定对象产品是否存在缺陷。第一推测模型根据拍到对象环境中的无缺陷产品的多个第一学习图像生成，第二推测模型根据拍到缺陷的多个第二学习图像生成。第二推测模型的运算处理包括通过分别向低维度的空间投影而生成维度不同的多个特征图，关注区域的提取结果在第二推测模型的运算处理的过程中被合并至多个特征图中的至少任意一个。个。个。

【技术实现步骤摘要】
【国外来华专利技术】检查装置、单元选择装置、检查方法以及检查程序


[0001]本专利技术涉及检查装置、单元选择装置、检查方法以及检查程序。

技术介绍

[0002]目前，在生产线等制造产品的场景中，利用如下技术：通过图像传感器观测所制造的产品，并根据得到的拍摄图像检查产品是否存在缺陷。例如，专利文献1中提出了一种检查装置，根据学习完毕的第一神经网络判定图像中拍摄到的检查对象物是正常还是异常，并在判定为检查对象物异常时，根据学习完毕的第二神经网络对该异常的种类进行分类。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2012
‑
026982号公报

技术实现思路

[0006]专利技术所要解决的技术问题
[0007]在利用神经网络等的机器学习模型的情况下，可以使用学习数据实施机器学习，从而生成获得了执行所期望的推测任务的能力的推测模型。因此，通过将确定了有无缺陷的产品的图像用作学习数据实施机器学习，可以生成可用于产品的外观检查的推测模型(例如上述专利文献1)。此外，这样的推测模型并不限于使用机器学习的方法，例如也可以通过利用人工的方法等其他方法生成。然而，本专利技术的专利技术人们发现，使用根据该学习数据生成的推测模型的检查方法存在如下问题。
[0008]作为对推测模型的性能(即，外观检查的精度)造成影响的因素之一，可以举出推测模型的生成中使用的学习数据的质量。基本来说，所收集的学习数据越庞杂(换言之，学习数据中表现的缺陷的状况越多样)，越能谋求提高生成的推测模型的性能。然而，包含缺陷的种类及产品的外观在内的背景的类别越多，则缺陷的类别及背景的类别的组合越增加，希望作为学习数据而收集的样本的件数及种类也增加。因此，在实施检查的对象环境中，在设想到所有状况的基础上事先收集学习数据需要花费成本，存在不现实这一问题。
[0009]本专利技术的一个方面是鉴于这样的情况而完成的，其目的在于，提供一种在抑制收集学习数据的成本的同时谋求提高推测模型的外观检查精度的技术。
[0010]用于解决问题的技术方案
[0011]本专利技术为了解决上述技术问题而采用以下的构成。
[0012]即，本专利技术的一方面涉及的检查装置具备：数据获取部，获取拍到实施检查的对象产品的对象图像；区域提取部，使用第一推测模型从获取到的所述对象图像提取关注区域，所述第一推测模型根据第一学习数据，以获得提取具有拍到缺陷的盖然性的区域作为关注区域的能力的方式生成，所述第一学习数据包含在实施检查的对象环境中得到的拍到无缺陷产品的多个第一学习图像；模型运算部，使用基于所述第一推测模型的针对所述对象图像的所述关注区域的提取结果执行第二推测模型的运算处理，根据包含拍到缺陷的多个第
二学习图像的第二学习数据，以获得判定缺陷的似然度的能力的方式生成所述第二推测模型，所述第二推测模型的运算处理包括通过对所述对象图像执行分别向低维度的空间投影的多次投影处理，从而生成维度不同的多个特征图，所述关注区域的提取结果在所述第二推测模型的运算处理的过程中被合并至所述多个特征图中的至少任意一个；判定部，根据所述第二推测模型的运算结果判定所述对象产品是否存在缺陷；以及输出部，输出表示判定所述对象产品是否存在缺陷的结果的信息。
[0013]在该构成中，外观检查除了获得了判定缺陷的似然度的能力的第二推测模型之外还使用根据第一学习数据生成的第一推测模型，该第一学习数据包含在实施检查的对象环境中得到的拍到无缺陷产品的多个第一学习图像。通过使用针对该对象环境特化型的第一推测模型，有望提高针对对象产品的外观检查的精度。除此之外，在该构成中，第二推测模型的运算处理包括通过对于对象图像执行分别向低维度的空间投影的多次投影处理，从而生成维度不同的多个特征图。第一推测模型对关注区域的提取结果在该第二推测模型的运算处理的过程中被合并至多个特征图中的至少任意一个。将第一推测模型对关注区域的提取结果合并至哪个特征图，可以以使关于对象产品是否存在缺陷的判定精度尽可能高的方式决定。因此，根据该构成，对于可能具有多种外观的产品，可以期待提高推测模型的外观检查精度。
[0014]在上述一方面涉及的检查装置中，所述第二推测模型可以具备编码器及解码器，所述编码器将图像转换为特征量，所述解码器从所述特征量解码所述图像，被解码的所述图像按每个像素表示缺陷的似然度。所述编码器可以包括从输入侧依次串联连接的多个编码单元。各个所述编码单元可以构成为将输入数据转换为维度比输入数据低的特征图。对所述对象图像执行所述多次投影处理可以通过从输入侧起依次执行各个所述编码单元的运算处理而构成。而且，所述关注区域的提取结果可以在所述第二推测模型的运算处理的过程中被合并至由所述多个编码单元中的至少一个生成的特征图。根据该构成，可以容易地变更将第一推测模型的关注区域的提取结果合并的维度，由此可以容易地操作推测模型的外观检查的精度的提高。
[0015]上述一方面涉及的检查装置也可以还具备选择部，所述选择部从所述多个编码单元中选择至少一个以上的对象编码单元。而且，所述关注区域的提取结果可以在所述第二推测模型的运算处理的过程中被合并至通过选择的所述至少一个以上的对象编码单元生成的特征图。根据该构成，可以通过选择对象编码单元，使推测模型的外观检查精度最佳化。
[0016]在上述一方面涉及的检查装置中，所述选择部也可以获取拍到包含规定缺陷的评价用产品的评价图像，使用所述第一推测模型从获取到的所述评价图像提取关注区域，在变更假设被选择为所述对象编码单元的编码单元的同时，使用针对所述评价图像的所述关注区域的提取结果反复进行所述第二推测模型的运算处理，从而针对每个编码单元试行假设针对将各个所述编码单元选择为所述对象编码单元时的所述评价图像的所述评价用产品是否存在缺陷的判定，并且，根据所述试行的结果选择最佳的编码单元作为所述对象编码单元。根据该构成，可以自动使推测模型的外观检查精度最佳化。
[0017]在上述一方面涉及的检查装置中，所述选择部也可以获取拍到包含规定缺陷的评价用产品的评价图像，使用所述第一推测模型从获取到的所述评价图像提取关注区域，在
变更假设被选择为所述对象编码单元的编码单元的同时，使用针对所述评价图像的所述关注区域的提取结果反复进行所述第二推测模型的运算处理，从而针对每个编码单元试行假设针对将各个所述编码单元选择为所述对象编码单元时的所述评价图像的所述评价用产品是否存在缺陷的判定，向操作者输出所述试行的结果，并且，受理通过所述操作者的指定从所述多个编码单元中选择所述至少一个对象编码单元。根据该构成，可以通过操作使推测模型的外观检查精度最佳化。
[0018]在上述一方面涉及的检查装置中，所述编码器可以由卷积神经网络构成，各个所述编码单元可以由一个或多个卷积层及池化层构成。根据该构成，可以容易地安装第二推测模型。
[0019]在上述一方面涉及的检查装置中，所述检查装置可以还具备设定部，所述设定部设定参数的值，所述参数规定提取拍到所述缺陷的区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种检查装置，具备：数据获取部，获取拍到实施检查的对象产品的对象图像；区域提取部，使用第一推测模型从获取到的所述对象图像提取关注区域，所述第一推测模型根据第一学习数据，以获得提取具有拍到缺陷的盖然性的区域作为关注区域的能力的方式生成，所述第一学习数据包含在实施检查的对象环境中得到的拍到无缺陷产品的多个第一学习图像；模型运算部，使用基于所述第一推测模型的针对所述对象图像的所述关注区域的提取结果，执行第二推测模型的运算处理，根据包含拍到缺陷的多个第二学习图像的第二学习数据，以获得判定缺陷的似然度的能力的方式生成所述第二推测模型，所述第二推测模型的运算处理包括通过对所述对象图像执行分别向低维度的空间投影的多次投影处理，从而生成维度不同的多个特征图，所述关注区域的提取结果在所述第二推测模型的运算处理的过程中被合并至所述多个特征图中的至少任意一个；判定部，根据所述第二推测模型的运算结果判定所述对象产品是否存在缺陷；以及输出部，输出表示判定所述对象产品是否存在缺陷的结果的信息。2.根据权利要求1所述的检查装置，其中，所述第二推测模型具备编码器及解码器，所述编码器将图像转换为特征量，所述解码器从所述特征量解码所述图像，被解码的所述图像按每个像素表示缺陷的似然度，所述编码器包括从输入侧依次串联连接的多个编码单元，各个所述编码单元被构成为将输入数据转换为维度比输入数据低的特征图，对所述对象图像执行所述多次投影处理是通过从输入侧起依次执行各个所述编码单元的运算处理而构成的，所述关注区域的提取结果在所述第二推测模型的运算处理的过程中被合并至由所述多个编码单元中的至少一个生成的特征图。3.根据权利要求2所述的检查装置，其中，所述检查装置还具备选择部，所述选择部从所述多个编码单元中选择至少一个以上的对象编码单元，所述关注区域的提取结果在所述第二推测模型的运算处理的过程中被合并至通过选择的所述至少一个以上的对象编码单元生成的特征图。4.根据权利要求3所述的检查装置，其中，所述选择部获取拍到包含规定缺陷的评价用产品的评价图像，使用所述第一推测模型从获取到的所述评价图像提取关注区域，在变更假设被选择为所述对象编码单元的编码单元的同时，使用针对所述评价图像的所述关注区域的提取结果反复进行所述第二推测模型的运算处理，从而针对每个编码单元试行假设针对将各个所述编码单元选择为所述对象编码单元时的所述评价图像的所述评价用产品是否存在缺陷的判定，并且，根据所述试行的结果选择最佳的编码单元作为所述对象编码单元。5.根据权利要求3所述的检查装置，其中，所述选择部获取拍到包含规定缺陷的评价用产品的评价图像，使用所述第一推测模型从获取到的所述评价图像提取关注区域，
在变更假设被选择为所述对象编码单元的编码单元的同时，使用针对所述评价图像的所述关注区域的提取结果反复进行所述第二推测模型的运算处理，从而针对每个编码单元试行假设针对将各个所述编码单元选择为所述对象编码单元时的所述评价图像的所述评价用产品是否存在缺陷的判定，向操作者输出所述试行的结果，并且，受理通过所述操作者的指定从所述多个编码单元中选择所述至少一个对象编码单元。6.根据权利要求2至5中任一项所述的检查装置，其中，所述编码器由卷积神经网络构成，各个所述编码单元由一个或多个卷积层及池化层构成。7.根据权利要求1至6中任一项所...

【专利技术属性】
技术研发人员：栗田真嗣，山元左近，长谷川友纪，半泽雄希，长江成典，加藤豊，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：