基于2D3D视觉融合的五金件机器人智能化打磨方法与装置制造方法及图纸

本发明专利技术涉及基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置，包括以下步骤：S100：获取输入五金件的多个视角的RGB图像；S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层；S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下；S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。对所述输入五金件进行打磨。对所述输入五金件进行打磨。

【技术实现步骤摘要】
基于2D3D视觉融合的五金件机器人智能化打磨方法与装置


[0001]本专利技术涉及智能制造
，尤其涉及基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。

技术介绍

[0002]五金件是指数种有色金属铸造而成的零部件，广泛应用于固定、装饰和加工产品。然而，由于五金件具有大批量、定制化等特点，其在存储过程中可能会受空气湿度、破损等因素影响而出现氧化层缺陷，导致其无法高质量配置、应用于其他个体装备中。因此，有必要对五金件进行检测，并对其氧化层进行去除处理。现有的五金件检测、加工方法主要通过工人进行机械性、重复的工作完成，容易出现人工疲劳而导致的漏检问题且效率较低等技术问题。

技术实现思路

[0003]本专利技术旨在至少解决现有技术的不足之一，提供基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。
[0004]为了实现上述目的，本专利技术采用以下的技术方案：
[0005]提出基于2D3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：
[0006]S100：获取输入五金件的多个视角的RGB图像；
[0007]S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
[0008]S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
[0009]S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
[0010]S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
[0011]S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
[0012]S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。
[0013]进一步，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
[0014]S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述 RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中代表像素均值，σ代表像素方差，x
i
表示原始图像，x'
i
表示归一化后的图像：
[0015][0016]S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到 56*56*64的第二特征图；
[0017]S230：将第二特征图输入Res
‑
deconv卷积层中，输入分别经过Res
‑
block和 De
‑
conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res
‑
deconv卷积层处理，得到7*7*128的第三特征图；
[0018]S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
[0019]进一步，上述步骤S300具体包括以下步骤，
[0020]S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为 A＝{a
i
,i＝1,2,
…
,M}；
[0021]S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
[0022]S330：确定相邻视角的源点云a
j
＝{x
d
,d＝1,2,
…
,g}和移动点云a
j+1
＝{y
l
,l＝ 1,2,
…
,h},构建多视角点云配准模型：
[0023][0024][0025]其中R代表空间旋转矩阵，t代表空间平移向量，x
l
代表移动点云中的点，代表源点云a
j
中最近邻匹配的点，p∈[0,1]；
[0026]S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
[0027]S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云a
j
进行配准得到求点云a
j
以及的均方根误差∈
k
,如果∈
k
<∈,则输出点云否则令返回步骤S330；
[0028]S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令a
j
＝a
j+1
，返回步骤S330。
[0029]进一步，述三维点云语义分割网络具体包括，
[0030]AS
‑
SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过 Point
‑
ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
[0031]SRN
‑
Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
[0032]具体的，所述三维点云语义分割网络运行包括以下步骤，
[0033]S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
[0034]S420：利用步骤S410中的流程，对点云进行降采样
‑
特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
[0035]S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
[0036]S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于2D3D视觉融合的五金件机器人智能化打磨方法，其特征在于，包括以下步骤：S100：获取输入五金件的多个视角的RGB图像；S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。2.根据权利要求1所述的基于2D3D视觉融合的五金件机器人智能化打磨方法，其特征在于：上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中代表像素均值，σ代表像素方差，x
i
表示原始图像，x
i
'表示归一化后的图像：S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；S230：将第二特征图输入Res
‑
deconv卷积层中，输入分别经过Res
‑
block和De
‑
conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res
‑
deconv卷积层处理，得到7*7*128的第三特征图；S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。3.根据权利要求1所述的基于2D3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S300具体包括以下步骤，S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{a
i
,i＝1,2,
…
,M}；S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；S330：确定相邻视角的源点云a
j
＝{x
d
,d＝1,2,
…
,g}和移动点云a
j+1
＝{y
l
,l＝1,2,
…
,h},构建多视角点云配准模型：
其中R代表空间旋转矩阵，t代表空间平移向量，x
l
代表移动点云中的点，表示求取点x
l
的匹配点对可通过最近邻搜索得到，z
l
代表配准残差，p∈[0,1]；S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云a
j
进行配准得到求点云a
j
以及的均方根误差∈
k
,如果∈
k
<∈,则输出点云否则令返回步骤S330；S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令a
j
＝a
j+1
，返回步骤S330。4.根据权利要求1所述的基于2D3D视觉融合的五金件机器人智能化打磨方法，其特征在于，所述三维点云语义分割网络具体包括，AS
‑
SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point
‑
ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；SRN
‑
Net模块，用于利...

【专利技术属性】
技术研发人员：刘跃生，陈新度，吴磊，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：