物体姿态估测系统及其执行方法与图形用户接口技术方案

一种物体姿态估测系统及其执行方法与图形用户接口。物体姿态估测系统的执行方法包括以下步骤。一特征采集策略神经网络模型依据一场景点云决定一姿态估测单元的一特征采集策略。依据特征采集策略，姿态估测单元对一物体的一三维模型采集一模型特征，并对场景点云采集一场景特征。姿态估测单元比对模型特征及场景特征，以获得物体的一估测姿态。以获得物体的一估测姿态。以获得物体的一估测姿态。

【技术实现步骤摘要】
物体姿态估测系统及其执行方法与图形用户接口


[0001]本公开是有关于一种物体姿态估测系统及其执行方法与图形用户接口。

技术介绍

[0002]许多产业(如金属加工业)中，需要将工件/物体从备料篮中取出放入加工机进行物品加工(如钻孔、研磨、清洗等)。目前物体的上下料步骤大多是通过人工来完成。然而，劳力短缺的现象越来越严重，上下料自动化已成为工业4.0的一项重要目标。
[0003]上下料自动化可以通过机器手臂来达成。但机器手臂必须依靠精准且快速的三维物体姿态估测技术才能准确抓取物体。在现有的三维物体姿态估测技术中，针对不同的场景都是采取相同的特征采集策略，而无法提高三维物体姿态估测的准确性与估测速度。即使通过具备图像处理背景的专业工程师不断的调整特征采集策略，这对于许多产业来说，如水五金、金属手工具产业等，无疑是一个很高的进入门坎。此外，目前的物体姿态估测技术，即便通过专业工程师调整特征采集策略，也是一件非常耗时的工作，无法达到快速换线/换工件的目的。
[0004]公开内容
[0005]本公开有关于一种物体姿态估测系统及其执行方法与图形用户接口。
[0006]根据本公开一实施例，提出一种物体姿态估测系统的执行方法。物体姿态估测系统的执行方法包括以下步骤。一特征采集策略神经网络模型依据一场景点云决定一姿态估测单元的一特征采集策略。依据特征采集策略，姿态估测单元对一物体的一三维模型采集一模型特征，并对场景点云采集一场景特征。姿态估测单元比对模型特征及场景特征，以获得物体的一估测姿态。
[0007]根据本公开另一实施例，物体姿态估测系统包括一特征采集策略神经网络模型及一姿态估测单元。特征采集策略神经网络模型用以依据一场景点云决定一姿态估测单元的一特征采集策略。姿态估测单元依据特征采集策略，对一物体的一三维模型采集一模型特征，并对场景点云采集一场景特征。姿态估测单元比对模型特征及场景特征，以获得物体的一估测姿态。
[0008]根据本公开再一实施例，提出一种图形用户接口。图形用户接口包括一场景点云输入窗口、一特征采集策略决定窗口、一三维模型输入钮及一估测姿态显示窗口。场景点云输入窗口用以输入一场景点云。一特征采集策略神经网络模型依据一场景点云决定一姿态估测单元的一特征采集策略，并显示于特征采集策略决定窗口。三维模型输入钮用以输入一物体的一三维模型。依据特征采集策略，三维模型被采集一模型特征且场景点云被采集一场景特征。估测姿态显示窗口用以显示物体的一估测姿态。估测姿态通过模型特征及场景特征的比对而获得。
[0009]为了对本公开上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下：
附图说明
[0010]图1绘示根据一实施例的数个物体与机器手臂的示意图。
[0011]图2绘示物体姿态估测系统与机器手臂控制系统的示意图。
[0012]图3绘示根据一实施例的场景的示意图。
[0013]图4绘示根据另一实施例的场景的示意图。
[0014]图5绘示根据另一实施例的场景的示意图。
[0015]图6绘示根据另一实施例的场景的示意图。
[0016]图7绘示根据一实施例的物体姿态估测系统的方块图。
[0017]图8绘示根据一实施例的物体姿态估测系统的执行方法的物体姿态估测程序流程图。
[0018]图9绘示根据一实施例执行物体姿态估测程序的物体姿态估测系统的方块图。
[0019]图10绘示根据一实施例的物体姿态估测系统的执行方法的回溯训练程序流程图。
[0020]图11绘示根据一实施例执行回溯训练程序的物体姿态估测系统的方块图。
[0021]图12～14绘示根据不同实施例的场景的示意图。
[0022]图15～17绘示根据不同实施例的场景的示意图。
[0023]图18～20绘示根据不同实施例的场景的示意图。
[0024]图21绘示采用固定特征采集策略的物体姿态估测程序的结果。
[0025]图22绘示采用动态调整特征采集策略的物体姿态估测程序的结果。
[0026]图23绘示根据一实施例的物体姿态估测系统的图形用户接口。
[0027]附图标记说明
[0028]100：物体姿态估测系统
[0029]110：特征采集策略神经网络模型
[0030]120：姿态估测单元
[0031]121：三维模型特征采集器
[0032]122：场景点云特征采集器
[0033]123：三维比对器
[0034]130：特征采集策略质量评估单元
[0035]140：自主学习单元
[0036]200：机器手臂控制系统
[0037]500：图形用户接口
[0038]AM1：机器手臂
[0039]B1：三维模型输入钮
[0040]EPgt：已知姿态
[0041]EP0，EP1：估测姿态
[0042]ER：估测误差
[0043]LS：光源
[0044]MD1：三维模型
[0045]MF：模型特征
[0046]OB1，OB2，OB3，OB4，OB5，OB6，OB7：物体
[0047]S110，S120，S130，S140，S150，S160：步骤
[0048]SF：场景特征
[0049]SN1，SN2，SN3，SN4，SN5，SN6，SN7，SN8，SN9，SN10，SN11，SN12，SN13：场景
[0050]SP0，SP1：场景点云
[0051]ST0，ST1：特征采集策略
[0052]ST11：模型特征采集策略
[0053]ST12：场景特征采集策略
[0054]W1：场景点云输入窗口
[0055]W2：特征采集策略决定窗口
[0056]W3：估测姿态显示窗口
具体实施方式
[0057]请参照图1，其绘示根据一实施例的数个物体OB1与机器手臂AM1的示意图。在一些应用场景中，机器手臂AM1可以抓取物体OB1完成上下料自动化的程序。为了让机器手臂AM1能够精准地抓取物体OB1，必须正确完成物体姿态估测程序。
[0058]请参照图2，其绘示物体姿态估测系统100与机器手臂控制系统200的示意图。物体姿态估测系统100接收点场景点云SP1及三维模型MDI后，进行物体姿态估测程序，以输出物体OB1(绘示于图1)的估测姿态EP1。机器手臂控制系统200接收到估测姿态EP1后，即可精准地控制机器手臂AM1去抓取物体OB1。
[0059]在进行物体姿态估测程序的过程中，需要对场景点云SP1及三维模型MD1进行特征采集。三维模型MD1为物体OB1(绘示于图1)原本就建立好的标准模型，不会改变。但场景的变化就相当的多。
[0060]举例来说，请参照图3，其绘示根据一实施例的场景SN1的示意图。在场景SN1中，物体OB1摆放的较为稀疏，而没有重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体姿态估测系统的执行方法，其特征在于，该执行方法包括：特征采集策略神经网络模型依据场景点云决定姿态估测单元的特征采集策略；依据该特征采集策略，该姿态估测单元对物体的三维模型采集模型特征，并对该场景点云采集场景特征；以及该姿态估测单元比对该模型特征及该场景特征，以获得该物体的估测姿态。2.根据权利要求1所述的物体姿态估测系统的执行方法，其特征在于，该特征采集策略包括模型特征采集策略及场景特征采集策略。3.根据权利要求2所述的物体姿态估测系统的执行方法，其特征在于，该模型特征采集策略不同于该场景特征采集策略。4.根据权利要求1所述的物体姿态估测系统的执行方法，其特征在于，该特征采集策略的内容为取样区间、量化程度或搜索半径。5.根据权利要求1所述的物体姿态估测系统的执行方法，其特征在于，该特征采集策略神经网络模型为VGGNet模型或深度残差网络模型。6.根据权利要求1所述的物体姿态估测系统的执行方法，其特征在于，该姿态估测单元通过对点特征算法、视角特征直方图算法、方向直方图特征算法、半径表面描述子算法、或点特征直方图算法获得该估测姿态。7.根据权利要求1所述的物体姿态估测系统的执行方法，其特征在于，还包括：分析该估测姿态的估测误差；以及依据该估测误差更新该特征采集策略神经网络模型，以训练该特征采集策略神经网络模型。8.根据权利要求7所述的物体姿态估测系统的执行方法，其特征在于，在分析该估测姿态的该估测误差的步骤中，比对该估测姿态与已知姿态，以分析出该估测误差。9.根据权利要求7所述的物体姿态估测系统的执行方法，其特征在于，该估测误差通过可见表面差异或模型点平均距离进行分析。10.根据权利要求7所述的物体姿态估测系统的执行方法，其特征在于，该特征采集策略神经网络模型通过柔性致动评价算法、深度确定性策略梯度算法、深度Q网络算法、异步优势执行器评价器算法、或近似策略优化算法进行更新。11.根据权利要求7所述的物体姿态估测系统的执行方法，其特征在于，该特征采集策略神经网络模型还依据计算复杂度进行更新，以训练该特征采集策略神经网络模型。12.一种物体姿态估测系统，其特征在于，该物体姿态估测系统包括：特征采集策略神经网络模型，用以依据场景点云决定姿态估测单元的特征采集策略；以及该姿态估测单元，依据该特征采集策略，对物体的三维模型采集模型特征，并对该场景点云采集场景特征，该姿态估测单元比对该模型特征及该场景特征，以获得该物体的估测姿态。13.根据权利要求12...

【专利技术属性】
技术研发人员：蔡东展，施秉昌，黄郁茹，周宏春，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：