一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法技术

本发明专利技术涉及一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，包括：输入的机械臂的RGB图像；对图像预处理，将图片大小裁剪为256

【技术实现步骤摘要】
一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法


[0001]本专利技术属于机械臂姿态估计领域，具体涉及一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法。

技术介绍

[0002]精准而灵活的机械臂在工业制造领域中有着广泛的应用，机械臂能够执行诸如物体抓取、人机交互、碰撞检测和避免等任务。近年来，基于视觉的机械臂控制受到了越来越多的关注，与使用特定传感器的传统系统相比，视觉系统具有适应复杂和新颖任务的灵活性。基于视觉的机械臂控制系统能够根据机械臂的图像对机械臂进行控制，并且可以进一步地实现机械臂的抓取。而如果我们想对机械臂进行控制，首先就要知道机械臂各个关节的位置，即机械臂的姿态，因此机械臂的姿态估计对于机械臂控制系统的实现至关重要。
[0003]针对机械臂的姿态估计问题，目前主流的有三种方法。第一种方法：使用3D模型创建大量虚拟的数据，在此虚拟领域中训练视觉模型，并在领域自适应后应用于真实世界的图像。此外，其设计了一种半监督方法，该方法充分利用了关键点之间的几何约束，使用迭代算法进行优化。第二种方法：从单个图像估计机械臂姿态的方法，其使用深度神经网络来处理RGB图像来检测机械臂上的关键点，并且使用域随机化完全在模拟数据上进行网络的训练。第三种方法：使用机械臂的深度图像作为输入来直接估计角关节的位置。其使用了一个随机回归森林来进行估计，该模型使用合成生成的数据进行训练。
[0004]尽管上述方法的精度很高，但这些方法仍存在参数量和计算量过大等不足。这些方法往往通过牺牲模型效率来换取精度优势，精度越高的方法所需要的计算开销也越大。在云上部署这些高精度方法会很困难，庞大的参数量也限制了模型在资源受限设备(比如机器臂、手机等设备)上的部署。这些高精度方法需要巨大的计算开销和内存开销，严重阻碍了资源受限情况下的使用。

技术实现思路

[0005]针对现有机械臂姿态估计方法中缺乏通用的模型轻量化方法以及轻量级模型会面临的性能退化问题，本专利技术构建了具有两个堆的堆叠沙漏网络，使用了一种全新的神经网络基本单元Ghost模块来替代堆叠沙漏网络中的标准卷积，从而搭建出轻量级的机械臂姿态估计神经网络，即Ghost
‑
SHN(Ghost Module
‑
Based Stacked Hourglass Network)。本专利技术方法在保留模型泛化性能的前提下改善机械臂姿态估计模型的推理效率，使其在实际应用场景中更加可靠实用。
[0006]本专利技术为实现上述目的所采用的技术方案是：
[0007]一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，包括以下步骤：
[0008]采集机械臂的RGB图像，并对其进行预处理；
[0009]对基于Ghost模块的堆叠沙漏网络Ghost
‑
SHN进行训练；
[0010]将预处理后的RGB图像输入到Ghost
‑
SHN中，得到多个关键点；
[0011]对关键点进行三维还原，预估出机械臂的各个转轴角度，完成机械臂姿态的估计。
[0012]所述对RGB图像进行预处理具体为：将RGB图像裁剪为设定尺寸。
[0013]所述对基于Ghost模块的堆叠沙漏网络Ghost
‑
SHN进行训练具体为：使用Ghost模块替换堆叠沙漏网络中的卷积层，并对Ghost
‑
SHN进行训练。
[0014]所述将预处理后的RGB图像输入到Ghost
‑
SHN中，得到多个关键点具体为：
[0015]将每一个尺寸为256*256的RGB图像输入到Ghost
‑
SHN中，得到若干个尺寸为64*64的热图，每个热图对应一个关键点。
[0016]所述关键点为用于确定机械臂姿态的二维点。
[0017]所述对关键点进行三维还原，预估出机械臂的各个转轴角度具体为：
[0018]将机械臂构建为一个多自由度的多刚体模型，使若干个关键点的位置满足几何约束关系；
[0019]通过透视投影预估出若干个关键点的三维坐标，得到机械臂的各个转轴角度。
[0020]所述几何约束关系包括：两个关键点之间的长度。
[0021]所述通过透视投影预估出若干个关键点的三维坐标具体为：
[0022][0023]其中，y是关键点的二维坐标矩阵，z是关键点的三维坐标矩阵，1是全一向量，K是相机的内参矩阵，S是缩放向量，R是旋转矩阵,t是平移向量。
[0024]本专利技术具有以下有益效果及优点：
[0025]1.模型的参数量和计算量小，克服了机械臂姿态估计模型难以在机械臂等资源受限设备上部署的问题，便于机械臂姿态估计模型的部署。
[0026]2.提升了机械臂姿态估计模型的泛化能力，姿态估计的误差比原有模型要小，即预测的机械臂的关节角度比原有模型误差要小。
附图说明
[0027]图1为本专利技术方法整体流程图；
[0028]图2为本专利技术方法的网络结构图；
[0029]图3为本专利技术方法的关键点检测结果图；
[0030]图4为本专利技术方法与其他方法参数量的对比图；
[0031]图5为本专利技术方法与其他方法计算量的对比图。
具体实施方式
[0032]下面结合附图及实施例对本专利技术做进一步的详细说明。
[0033]一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，包括以下步骤：
[0034]S1：输入的机械臂的RGB图像；
[0035]S2：对图像预处理；
[0036]S3：训练Ghost
‑
SHN模型；
[0037]S4：检测关键点；
[0038]S5：估计三维姿态；
[0039]S6：输出关节角度。
[0040]所述对图像预处理，具体为：将输入机械臂的图像的大小裁剪为256
×
256。
[0041]所述训练Ghost
‑
SHN模型，具体为：在堆叠沙漏网络，即SHN中使用Ghost模块替代普通卷积。
[0042]将裁剪后的图像作为输入数据为其中，c
′
为输入数据的通道数，h
′
为输入数据的高度，w
′
为输入数据的宽度，我们可以使用一次卷积(PrimaryConvolution)来生成n个原始特征图，如式(1)所示。
[0043]Y
′
＝X
′
*W
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中*是卷积运算，是卷积核，其中，d
×
d为每个线性运算的平均核大小，n≤m。是具有m个通道的输出特征图，其中，h
″
为输出特征图的高度，w
″
为输出特征图的宽度。
[0044]Ghost模块对Y
′
中的每个原始特征使用线性运算来生成k个幻影特征图，具体计算过程如式(2)所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，其特征在于，包括以下步骤：采集机械臂的RGB图像，并对其进行预处理；对基于Ghost模块的堆叠沙漏网络Ghost
‑
SHN进行训练；将预处理后的RGB图像输入到Ghost
‑
SHN中，得到多个关键点；对关键点进行三维还原，预估出机械臂的各个转轴角度，完成机械臂姿态的估计。2.根据权利要求1所述的一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，其特征在于，所述对RGB图像进行预处理具体为：将RGB图像裁剪为设定尺寸。3.根据权利要求1所述的一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，其特征在于，所述对基于Ghost模块的堆叠沙漏网络Ghost
‑
SHN进行训练具体为：使用Ghost模块替换堆叠沙漏网络中的卷积层，并对Ghost
‑
SHN进行训练。4.根据权利要求1所述的一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法，其特征在于，所述将预处理后的RGB图像输入到Ghost
‑
SHN中，得到多个关键点...

【专利技术属性】
技术研发人员：王琦，李伦兴，王诗宇，刘信君，王晓杰，韩玉虎，
申请(专利权)人：沈阳中科数控技术股份有限公司，
类型：发明
国别省市：