用于机器人油漆修复的学习框架制造技术

本发明专利技术公开了一种用于提供机器人油漆修复的方法和相关联的系统，该方法和相关联的系统包括接收基底中的所识别的缺陷的坐标连同该缺陷的特性，以及将该坐标连同控制机器人操纵器以使该机器人操纵器的端部执行器紧密接近该基底上的所识别的缺陷所需的附加数据一起传送到机器人控制器模块。将该缺陷的特性以及至少该端部执行器的当前状态提供给策略服务器，该策略服务器提供基于由机器学习单元更新的先前学习的控制策略的修复动作。通过将用于修复动作的指令传送到该机器人控制器模块和端部执行器来执行该修复动作。

【技术实现步骤摘要】
【国外来华专利技术】用于机器人油漆修复的学习框架
本申请涉及用于学习和执行油漆应用(例如，底漆砂磨、清漆涂层缺陷去除、清漆涂层抛光等)的自动化缺陷特定修复的框架。所公开的技术使用用于检查、分类和策略优化的最先进的机器学习方法来使领域特定的过程专门知识的生成和利用自动化。
技术介绍
清漆涂层修复是汽车原始装备制造(OEM)部门中要自动化的最后操作中的一项操作。期望用于使该过程以及适于使用磨料和/或机器人检查和修复的其他油漆应用(例如，底漆砂磨、清漆涂层缺陷去除、清漆涂层抛光等)自动化的技术。另外，该问题在售后部门还未得到解决。使油漆缺陷的检测和修复自动化的早期工作包括美国专利公布2003/0139836中描述的系统，该专利公布公开了使用电子成像来检测和修复车身上的油漆缺陷。该系统参考车辆成像数据与车辆CAD数据，以形成每个油漆缺陷的三维油漆缺陷坐标。油漆缺陷数据和油漆缺陷坐标用于开发用于使用多个自动化机器人进行自动化修复的修复对策，该自动化机器人执行多种任务，包括砂磨和抛光油漆缺陷。修复对策包括路径和处理参数、工具以及机器人选择。力反馈传感器可用于控制修复过程。附加任务可包括生成机器人路径和工具参数、执行质量数据记录和错误报告。然而，没有提供修复过程的细节。另外，该系统不应用图案匹配或机器学习技术来帮助识别缺陷或确定用于校正缺陷的最佳过程。美国专利公布2017/0277979公开了在车辆检查系统中使用图案分类器来从图像中识别缺陷，该图像是通过将光照射在固定位置处的镜面上并且使用固定相机测量反射光而生成的。通过使用图像构建车辆模型和颜色的图像训练集来训练图案分类器以改善缺陷检测结果。训练集中的图像由人或机器检查以识别哪些图像和哪些像素具有缺陷。然而，没有公开用于校正所识别的缺陷的自动化技术。美国专利9811057公开了使用机器学习通过观察状态变量来预测电机的寿命，该状态变量包括检测电机的操作状态的传感器的输出数据和与电机中存在或不存在故障相关的数据。学习单元根据训练数据集学习与电机的预测寿命相关联的条件，该训练数据集基于状态变量和所测量的电机的实际寿命的组合而创建。申请人可能不应用机器学习技术来以自动化方式识别和修复油漆缺陷。另外，现有技术系统不考虑客户用来检查和校正油漆缺陷的自动化过程中的变化。期望用于使此类过程自动化的改进技术。
技术实现思路
现在描述各种示例以便以简化形式引入概念的选择，这些概念在下面的具体实施方式中进一步描述。
技术实现思路
并非旨在识别受权利要求书保护的主题的主要特征或本质特征，也不旨在用于限制受权利要求书保护的主题的范围。本文所述的系统和方法解决了机器人研磨处理问题，即基于每个部件几何形状和检查/反馈连同学习新过程和/或适应客户的过程偏差的能力来提供领域和问题特定的最佳过程。本文所述的系统和方法用作传统应用工程技术的数字化，其方式是通过提供成本有效的最佳解决方案来坚持彻底改变磨料被消耗的方式，该最佳解决方案以保护客户和磨料制造商的领域特定的知识的方式针对客户的应用和磨料制造商的特定磨料产品进行定制。虽然描述了提供机器人油漆修复，该机器人油漆修复包括底漆、油漆和清漆涂层的修复，但应当理解，本文所述的技术适用于除油漆修复之外的其他工业应用。如本文所述的提供机器人油漆修复的计算机实现的方法的样本实施方案包括以下步骤：接收基底中的每个所识别的缺陷的坐标连同每个缺陷的特性，将基底中的所识别的缺陷的坐标连同机器人控制器模块控制机器人操纵器以使机器人操纵器的端部执行器紧密接近基底上的所识别的缺陷所需的任何附加数据一起传送到机器人控制器模块，将缺陷的特性和机器人操纵器的至少端部执行器的当前状态提供给策略服务器，从策略服务器接收基于先前学习的控制策略的修复动作，以及通过将指令传送到机器人控制器模块和端部执行器来执行修复动作以实现修复动作。在样本实施方案中，修复动作包括用于砂磨工具的RPM的设定点、用于顺应力凸缘的控制输入、机器人操纵器的轨迹和总处理时间中的至少一者。修复动作可包括在所识别缺陷的位置处砂磨基底以及在所识别缺陷的位置处抛光或磨光基底。在样本实施方案中，机器人操纵器的轨迹作为与正在修复的缺陷的原点的时变位置偏移而被传送到机器人操纵器。处理装置还接收每个缺陷的特性，该特性包括来自端部执行器传感器的本地收集的原位检查数据。在这样的情况下，该方法包括以下另外的步骤：向机器学习单元提供原位数据，以用于使用条纹图案投影、偏折法和用相机进行的漫反射或正常白光的强度测量中的至少一者来创建学习更新。在样本实施方案中，重复从向策略服务器提供缺陷的特性和端部执行器的当前状态到提供原位检查数据的步骤的步骤，直到令人满意地修复所识别的缺陷。在其他实施方案中，处理装置进一步接收与由修复动作产生的修复的质量相关的质量数据，并且将缺陷的特性和质量数据提供给策略服务器以供记录。缺陷的特性还可包括未处理的原始图像。在另外的其他实施方案中，处理装置实现机器学习模块，该机器学习模块运行学习更新以基于特定的识别缺陷和对所执行的修复的后续评估来改善来自策略服务器的未来修复动作。处理装置还可使用在修复动作的执行期间和/或之后收集的传感器反馈将修复识别为良好或不良，并且实现强化学习以开发针对所识别的缺陷的修复动作。通过将所识别的缺陷的原始图像映射到修复动作，基于修复动作的质量而分配回报，以及识别使回报最大化的策略，来实现强化学习。在另选实施方案中，该方法还可包括使用物理模拟的缺陷找到所学习的控制策略。所学习的控制策略还可使用磨料利用数据来实现基于剩余磨料寿命的决策。强化学习还可被实现为基于马尔可夫决策过程(MDP)的强化学习任务。MDP可为有限MDP，其具有至少使用初始状态、砂磨状态、抛光状态和完成状态在MDP转换图中实现的任务，其中初始状态被增强以将所识别的缺陷包括在其原始、未改变的状态中，砂磨状态和抛光状态分别发生在砂磨动作和抛光动作之后，并且完成状态标记修复过程的结束。在任选的配置中，砂磨状态和抛光状态包括来自端部执行器传感器的本地收集的原位检查数据。在其他实施方案中，在MDP转换图中实现的任务包括动作，该动作包括完成、tendDisc、砂磨和抛光中的至少一者，其中完成动作立即将过程转到完成状态，tendDisc动作向机器人操纵器发信号以润湿、清洁或更换端部执行器的磨料盘，并且砂磨动作和抛光动作使用包括以下中的至少一者的参数来实现：端部执行器的砂磨工具的RPM、施加的压力、停留/处理时间以及机器人操纵器的修复轨迹。砂磨动作和抛光动作可以是连续参数的连续参数函数。在MDP转换图中实现的任务还可以包括单个tendDisc动作，之后是单个砂磨动作，之后是单个抛光动作。该方法由机器人油漆修复系统实现。在样本实施方案中，机器人修复系统包括：机器人操纵器，该机器人操纵器控制端部执行器，该端部执行器包括用于对基底进行砂磨和抛光中的至少一者的砂磨元件和抛光元件中的至少一者；机器人控制器模块，该机器人控制器模块控制机器人操纵器的移动和操作；策略服务器，该策略服务器保持将所识别的缺陷与一个或多个修复动作关本文档来自技高网...

【技术保护点】
1.一种提供机器人油漆修复的计算机实现的方法，所述方法包括：/na)由一个或多个处理器接收基底中的每个所识别的缺陷的坐标连同每个缺陷的特性；/nb)由所述一个或多个处理器将所述基底中的所识别的缺陷的坐标连同机器人控制器模块控制机器人操纵器以使所述机器人操纵器的端部执行器紧密接近所述基底上的所识别的缺陷所需的任何附加数据一起传送到所述机器人控制器模块；/nc)由所述一个或多个处理器将所述缺陷的特性和所述机器人操纵器的至少所述端部执行器的当前状态提供给策略服务器；/nd)由所述一个或多个处理器从所述策略服务器接收基于先前学习的控制策略的修复动作；以及/ne)由所述一个或多个处理器通过将指令传送到所述机器人控制器模块和端部执行器来执行所述修复动作以实现所述修复动作。/n

【技术特征摘要】
【国外来华专利技术】20180827 US 62/723,1271.一种提供机器人油漆修复的计算机实现的方法，所述方法包括：
a)由一个或多个处理器接收基底中的每个所识别的缺陷的坐标连同每个缺陷的特性；
b)由所述一个或多个处理器将所述基底中的所识别的缺陷的坐标连同机器人控制器模块控制机器人操纵器以使所述机器人操纵器的端部执行器紧密接近所述基底上的所识别的缺陷所需的任何附加数据一起传送到所述机器人控制器模块；
c)由所述一个或多个处理器将所述缺陷的特性和所述机器人操纵器的至少所述端部执行器的当前状态提供给策略服务器；
d)由所述一个或多个处理器从所述策略服务器接收基于先前学习的控制策略的修复动作；以及
e)由所述一个或多个处理器通过将指令传送到所述机器人控制器模块和端部执行器来执行所述修复动作以实现所述修复动作。


2.根据权利要求1所述的方法，其中所述修复动作包括用于砂磨工具的RPM的设定点、用于顺应力凸缘的控制输入、所述机器人操纵器的轨迹和总处理时间中的至少一者。


3.根据权利要求2所述的方法，其中所述机器人操纵器的所述轨迹作为与正在修复的所述缺陷的原点的时变位置偏移而被所述一个或多个处理器传送到所述机器人操纵器。


4.根据权利要求1所述的方法，还包括由所述一个或多个处理器接收每个缺陷的特性，所述特性包括来自端部执行器传感器的本地收集的原位检查数据。


5.根据权利要求4所述的方法，还包括：f)由所述一个或多个处理器向机器学习单元提供所述原位数据，以用于使用条纹图案投影、偏折法和用相机进行的漫反射或正常白光的强度测量中的至少一者来创建学习更新。


6.根据权利要求5所述的方法，还包括所述一个或多个处理器重复步骤c)-f)，直到令人满意地修复所识别的缺陷。


7.根据权利要求1所述的方法，其中所述修复动作包括在所识别的缺陷的位置处砂磨所述基底。


8.根据权利要求1所述的方法，其中所述修复动作包括在所识别的缺陷的位置处抛光或磨光所述基底。


9.根据权利要求1所述的方法，还包括所述一个或多个处理器接收与由所述修复动作产生的修复的质量相关的质量数据，并且将所述缺陷的所述特性和所述质量数据提供给所述策略服务器以供记录。


10.根据权利要求9所述的方法，还包括所述一个或多个处理器实现机器学习模块，所述机器学习模块运行学习更新以基于特定的识别缺陷和对所执行的修复的后续评估来改善来自所述策略服务器的未来修复动作。


11.根据权利要求10所述的方法，还包括所述一个或多个处理器使用在所述修复动作的执行期间和/或之后收集的传感器反馈将修复识别为良好或不良，并且实现强化学习以开发针对所识别的缺陷的修复动作。


12.根据权利要求11所述的方法，其中通过将所识别的缺陷的原始成像数据映射到修复动作，基于所述修复动作的质量而分配回报，以及识别使所述回报最大化的策略，来实现所述强化学习。


13.根据权利要求12所述的方法，其中所述强化学习被实现为基于马尔可夫决策过程(MDP)的强化学习任务。


14.根据权利要求13所述的方法，其中所述MDP为有限MDP，其具有至少使用初始状态、砂磨状态、抛光状态和完成状态在MDP转换图中实现的任务，其中所述初始状态被增强以将所识别的缺陷包括在其原始、未改变的状态中，所述砂磨状态和所述抛光状态分别发生在砂磨动作和抛光动作之后，并且所述完成状态标记所述修复过程的结束。


15.根据权利要求14所述的方法，其中所述砂磨状态和所述抛光状态包括来自端部执行器传感器的本地收集的原位检查数据。


16.根据权利要求14所述的方法，其中在所述MDP转换图中实现的所述任务包括动作，所述动作包括完成、tendDisc、砂磨和抛光中的至少一者，其中完成动作立即将过程转到所述完成状态，tendDisc动作向所述机器人操纵器发信号以润湿、清洁或更换所述端部执行器的磨料盘，并且砂磨动作和抛光动作使用包括以下中的至少一者的参数来实现：所述端部执行器的砂磨工具的RPM、施加的压力、停留/处理时间以及所述机器人操纵器的修复轨迹。


17.根据权利要求16所述的方法，其中所述砂磨动作和所述抛光动作是连续参数的连续参数函数。


18.根据权利要求16所述的方法，其中在所述MDP转换图中实现的所述任务包括单个tendDisc动作，之后是单个砂磨动作，之后是单个抛光动作。


19.根据权利要求1所述的方法，其中所述缺陷的所述特性包括未处理的原始图像。


20.根据权利要求1所述的方法，其中所学习的控制策略使用磨料利用数据来实现基于剩余磨料寿命的决策。


21.根据权利要求1所述的方法，还包括使...

【专利技术属性】
技术研发人员：布雷特·R·黑梅斯，约翰·W·亨德森，内森·J·赫布斯特，史蒂文·P·弗洛德，杰弗瑞·P·阿道夫，
申请(专利权)人：三M创新有限公司，
类型：发明
国别省市：美国;US