推论计算处理装置以及推论计算处理方法制造方法及图纸

机器人不会长时间待机而在短时间内执行推论计算处理。推论计算处理装置向已学习模型输入推论用数据来执行所述推论用数据的推论计算处理，其中，所述推论计算处理装置具备：取得部，其取得所述推论用数据和所述已学习模型；预处理部，其通过批处理将所取得的所述推论用数据分割为多个推论用子数据；以及执行部，其使多个所述推论用子数据的推论计算处理顺序最优化，并按照最优化后的所述推论计算处理顺序，基于多个所述推论用子数据的至少一部分的每一个和所述已学习模型来执行所述推论用数据的推论计算处理。用数据的推论计算处理。用数据的推论计算处理。

【技术实现步骤摘要】
【国外来华专利技术】推论计算处理装置以及推论计算处理方法


本专利技术涉及推论计算处理装置以及推论计算处理方法。

技术介绍

为了高速地进行利用了深层学习的应用的计算处理，大部分GPU(Graphics Processing Unit：图形处理单元)设备的利用是必须的，但GPU设备的更新速度快，从长时间的维护方面考虑，存在难以组装入商品的问题。另外，GPU设备是昂贵的设备，也存在导入成本变高的问题。另外，利用了深层学习的散装的工件的取出作为在工厂的生产线中使用的应用，为了以低成本实现生产线的目标周期时间，希望能够使用通常的廉价的CPU(Central Processing Unit：中央处理单元)设备来高速地执行推论。关于这一点，已知有如下技术：生成并显示散装的工件的距离图像，进行将在所显示的距离图像中示教的取出位置的附近的三维点群数据作为输入数据、将与示教相应的评价值或与取出动作的成败结果相应的评价值作为标签的机器学习，生成输入三维点群数据并输出所述三维点群数据的评价值的已学习模型，基于通过向所生成的已学习模型输入以规定区域的大小截取出的距离图像的三维点群数据而输出的评价值，选择与评价值高的截取出的距离图像对应的取出位置，由此取出散装的工件。例如，参照专利文献1。现有技术文献专利文献专利文献1：日本特开2019
‑
58960号公报

技术实现思路

专利技术所要解决的课题然而，虽然从距离图像中截取了规定区域的距离图像，但一旦决定了在机器学习中使用的学习用的输入数据的大小，则需要从距离图像中截取使得在输入到已学习模型的规定区域中截取的距离图像(以下，也称为“截取图像”)的大小成为与学习用的输入数据相同的大小。此外，将所有截取图像(提取位置候补)的三维点群数据中的每一个输入到学习模型中，并且输出各自的评估值，并且选择与具有高评估值的截取图像相对应的提取位置。即，由于将所有的截取图像(取出位置候补)输入到已学习模型来进行推论计算处理，因此对于评价值低且即使进行推论计算也不被选择/使用的截取图像(取出位置候补)也进行无用的推论计算。特别是，在具有复杂形状的工件的情况下，需要分辨率高(即数据规模(data size)大)的距离图像、三维点群数据。另外，在尺寸大的工件的情况下取得的距离图像、三维点群数据的数据规模也变大。因此，在对具有数据规模大的数据执行推论计算处理时，计算所有截取图像(提取位置候补)的方法包括针对具有低评估值并且即使执行推论计算也不被选择或使用的截取图像(提取位置候补)的无用的计算处理时间。由此，总的推论时间
变长，在该期间，工厂的生产线的机器人等成为待机状态，生产效率降低。因此，期望机器人不长时间待机而在短时间内执行推论计算处理。用于解决课题的手段本公开的推论计算处理装置的一个方式是对已学习模型输入推论用数据来执行所述推论用数据的推论计算处理的推论计算处理装置，具备：取得部，其取得所述推论用数据和所述已学习模型；预处理部，其通过批处理将所取得的所述推论用数据分割为多个推论用子数据；以及执行部，其使多个所述推论用子数据的推论计算处理顺序最优化，按照最优化后的所述推论计算处理顺序，基于多个所述推论用子数据的至少一部分的每一个和所述已学习模型来执行所述推论用数据的推论计算处理。本公开的推论计算处理方法的一个方式是由计算机实现的、向已学习模型输入推论用数据来执行所述推论用数据的推论计算处理的推论计算处理方法，所述推论计算处理方法具备如下工序：取得工序，取得所述推论用数据和所述已学习模型；预处理工序，将所取得的所述推论用数据通过批处理分割为多个推论用子数据；以及执行工序，使多个所述推论用子数据的推论计算处理顺序最优化，按照最优化后的所述推论计算处理顺序，基于多个所述推论用子数据的至少一部分的每一个和所述已学习模型来执行所述推论用数据的推论计算处理。专利技术效果根据一个方式，机器人能够不长时间待机而在短时间内执行推论计算处理。
附图说明
图1是表示第一实施方式的机器人系统的结构的一例的图。图2是表示第一实施方式的已学习模型执行装置的功能性结构例的功能框图。图3是对已学习模型执行装置的推论计算处理进行说明的流程图。图4是表示第二实施方式的已学习模型执行装置的功能性结构例的功能框图。图5是说明已学习模型执行装置的推论计算处理的流程图。图6是表示第三实施方式的机器人系统的结构的一例的图。图7是表示第三实施方式的已学习模型执行装置的功能性结构例的功能框图。图8是说明已学习模型执行装置的推论计算处理的流程图。图9是表示还取得训练图像数据的情况下的第三实施方式的变形例的已学习模型执行装置的功能性结构例的功能框图。图10是表示推论用数据为声音数据的情况下的已学习模型执行装置的功能性结构例的功能框图。图11是表示推论用数据为字符数据的情况下的已学习模型执行装置的功能性结构例的功能框图。图12是表示推论用数据为声音数据的情况下的已学习模型执行装置的功能性结构例的功能框图。图13是表示推论用数据为字符数据的情况下的已学习模型执行装置的功能性结构例的功能框图。图14是表示还取得训练图像数据的情况下的已学习模型执行装置的功能性结构
例的功能框图。
具体实施方式
参照附图对第一实施方式至第三实施方式进行详细说明。在此，各实施方式在使用确定散装的重合状态的多个工件的取出位置的已学习模型，机器人不长时间待机而在短时间内执行推论计算处理的结构中是共通的。但是，在推论计算处理中，在第一实施方式中，根据在生成已学习模型的机器学习中使用的训练数据即训练图像数据的规模(size)，通过批处理对拍摄散装且重合的状态的多个工件而得的推论用图像数据进行分割，由针对通过分割而生成的多个推论用子图像数据的图像特征分析来提取特征量，根据多个推论用子图像数据各自的特征量与来自针对训练图像数据的图像特征分析的特征量的匹配结果，对多个推论用子图像数据的每一个赋予评价得分，根据基于所赋予的评价得分的优先顺序，使多个推论用子图像数据的推论计算处理顺序最优化。与此相对，在第二实施方式中，通过对推论用图像数据进行图像处理来提取特征点，根据特征点的数量通过批处理来分割推论用图像数据，根据特征点的数量对多个推论用子图像数据的每一个赋予评价得分，在这一点上与第一实施方式不同。另外，在第三实施方式中，在如下方面与第一实施方式以及第二实施方式不同：根据由三维测量仪等取得的工件以散装的方式重合的状态的三维点群数据(或者距离图像数据)，通过批处理来分割推论用图像数据，根据分割后的多个推论用子图像数据的各数据中的距容器底的高度(以下，也称为“规定的高度”)，对多个推论用子图像数据的每一个赋予评价得分。以下，首先对第一实施方式进行详细说明，接着对第二实施方式和第三实施方式中特别是与第一实施方式不同的部分进行说明。＜第一实施方式＞图1是表示第一实施方式的机器人系统1的结构的一例的图。在此，例示了在机器人取出散装在容器内的工件的情况下执行基于图像数据进行机器学习而生成的已学习模型的情况。此外，本专利技术不限于在机器人取出散装在容器内的工件的情况下执行基于图像数据进行机器学习而生成的已学习模型的情况。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种推论计算处理装置，其向已学习模型输入推论用数据来执行所述推论用数据的推论计算处理，其特征在于，所述推论计算处理装置具备：取得部，其取得所述推论用数据和所述已学习模型；预处理部，其通过批处理将所取得的所述推论用数据分割为多个推论用子数据；以及执行部，其使多个所述推论用子数据的推论计算处理顺序最优化，按照最优化后的所述推论计算处理顺序，基于多个所述推论用子数据的至少一部分的每一个和所述已学习模型来执行所述推论用数据的推论计算处理。2.根据权利要求1所述的推论计算处理装置，其特征在于，所述取得部取得在通过机器学习生成所述已学习模型时所使用的训练数据。3.根据权利要求2所述的推论计算处理装置，其特征在于，所述预处理部根据所述训练数据进行所述推论用数据的所述批处理。4.根据权利要求2或3所述的推论计算处理装置，其特征在于，所述执行部进行所述训练数据与多个所述推论用子数据的每一个的匹配处理，对多个所述推论用子数据的每一个赋予与匹配的程度对应的评价得分，并根据基于所赋予的所述评价得分的优先顺序，使多个所述推论用子数据的所述推论计算处理顺序最优化。5.根据权利要求1至4中的任意一项所述的推论计算处理装置，其特征在于，所述取得部取得图像数据作为所述推论用数据。6.根据权利要求5所述的推论计算处理装置，其特征在于，所述预处理部进行作为所述推论用数据而取得的所述图像数据的图像处理。7.根据权利要求6所述的推论计算处理装置，其特征在于，所述预处理部基于所述图像处理的结果进行所述推论用数据的所述批处理。8.根据权利要求6或7所述的推论计算处理装置，其特征在于，所述执行部根据所述图像处理的结果对多个所述推论用子数据的每一个赋予评价得分，并根据基于所赋予的所述评价得分的优先顺序，使多个所述推论用子数据的所述推论计算处理顺序最优化。9.根据权利要求1至4中的任意一项所述的推论计算处理装置，其特征在于，所述取得部取得声音数据作为所述推论用数据。10.根据权利要求9所述的推论计算处理装置，其特征在于，所述预处理部进行作为所述推论用数据而取得的所述声音数据的特征分析。11.根据权利要求10所述的推论计算处理装置，其特征在于，所述预...

【专利技术属性】
技术研发人员：李维佳，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：