一种基于机器视觉的流水线上零件定位与点云获取方法技术

一种基于机器视觉的流水线上零件定位与点云获取方法，属于电子信息技术领域。步骤为：1)在流水线某托盘上随意摆放各种零件，通过二维视觉、三维扫描相结合的方式，计算获取零件的位置和点云图像；2)托盘中摆放零件的形状、种类、颜色无限制，零件可任意摆放姿态，零件大小小于托盘大小；3)二维视觉测量先于三维扫描，二维相机坐标系、三维扫描仪坐标系通过沿流水线运动的托盘坐标系建立联系。本发明专利技术操作简便、可实现性强，具有很大的工程应用价值，本发明专利技术输出的结果可应用于工业机器人在线轨迹规划进行打磨、喷涂等场景，减少人力并保证工人人身安全。人人身安全。人人身安全。

【技术实现步骤摘要】
一种基于机器视觉的流水线上零件定位与点云获取方法


[0001]本专利技术属于电子信息
，涉及一种基于机器视觉的流水线上繁杂零件定位与点云获取的方法。

技术介绍

[0002]目前流水线上零件的定位与点云获取都有成功的应用案例，其可行性和有效性得到了充分验证。目前，使用最广泛的方法有两种，一是基于二维视觉图像的流水线上零件的定位，二是基于三维图像的目标识别与定位。其中，基于二维图像的识别定位方法通常需要确定目标零件的形状和大小，零件种类比较少，并且零件在流水线上的摆放需要一定的规则，局限性比较大。基于三维扫描图像的目标识别与定位，会存在两个突出问题，一是因为零件反光产生点云空洞，影响点云的使用；二是背景干扰产生非常多的干扰点云，对于大量不确定形状特征的零件，很容易造成误识别、误匹配的问题，因此在现有的三维扫描应用场景中，对零件类别、零件背景都有很大限制。

技术实现思路

[0003]本专利技术主要是解决针对任意的、不确定特征的零件，获取其基于流水线的位置并获取点云数据。
[0004]本专利技术采用的技术方案为：
[0005]一种基于机器视觉的流水线上零件定位与点云获取方法，当在流水线托盘上任意摆放零件后，托盘随流水线依次经过二维检测工位、三维扫描工位，最终输出该托盘上各零件的点云数据和位置坐标，整个过程包括以下几个步骤：
[0006]第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
[0007]1)二维相机图像中标定板左上点作为二维图像坐标系原点O
2D
，沿标定板图像横边向左为二维相机图像横坐标X
2D
正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y
2D
正方向，垂直二维相机图像平面向下为Z
2D
正方向；
[0008]2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O
3D
，沿标定板点云横边向左为三维点云横坐标X
3D
正方向，沿标定板点云纵边向下为三维点云纵坐标Y
3D
正方向，垂直标定板三维点云向下为Z
3D
正方向；
[0009]3)托盘空间坐标系中以标定板左上点作为空间坐标系原点O
W
，沿标定板横边向左空间坐标系X
W
正方向，沿标定板纵边向下为空间坐标系Y
W
正方向，垂直标定板向下为Z
W
正方向。
[0010]标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而推算出二维图像坐标与三维点云坐标的关系。标定操作仅需在系统初始搭建时进行，除非硬件变动，无需重复操作。
[0011]第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，依次经过各图像处理方式，包含但不限于图像滤波、亮度调整、灰度处理、二值化、轮廓提取等，最终提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标。将轮廓各点像素坐标转换到二维图像坐标系O
2D
‑
X
2D
Y
2D
Z
2D
下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系O
W
‑
X
W
Y
W
Z
W
下，此信息便为系统输出的零件位置信息。
[0012]第三步，承载零件的托盘运动至三维扫描工位时，三维相机依次从多角度对托盘及零件进行扫描，多次扫描的结果通过组合拼接、剔除明显的离群点数据、点云预处理后形成托盘及零件完整的三维点云图像。依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。
[0013]本专利技术的有益效果为：
[0014]本专利技术针对流水线上随意摆放的不同零件难以采用传统方法同时获取完整点云数据和零件位置的问题，通过在流水线托盘上定义坐标系，将二维相机图像坐标系、三维扫面图像坐标系、托盘空间坐标系结合起来，获取零件准确位置并依此分割零件准确的点云数据。输出点云数据可用于多种工程应用场景：1)输出点云中杂点数据少，可有效进行零件点云配准，提升准确定；2)可直接采用点云数据进行数据分析，分析零件特征；3)可采用点云数据和零件位置信息，设计打磨或喷涂机器人手臂移动路径，无需传统的示教方式，提高系统的智能化程度。本专利技术提出的方法实现方法简便、可实现性强、且便于集成于各类机器视觉相关的智能化系统。
附图说明
[0015]图1为一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图；
[0016]图2为一种基于机器视觉的流水线上零件定位与点云获取方法实现的硬件示意图；
[0017]图3为二维图像拍摄托盘及零件轮廓示意图；
[0018]图4为三维扫描分割后零件示意图。
[0019]图中：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。
具体实施方式
[0020]为使本专利技术解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。
[0021]图1为本专利技术实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图。图2为与本专利技术相关方法的硬件实现，图中标号分别代表：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。其中，托盘5位于流水线6上，沿着流水线6移动，任意摆放的零件7位于托盘5上；二维相机设于流水线上方，用于拍摄托盘5上零件7的图片，并上传至系统控制台4；三维扫描仪也位于流水线6上
方，通过扫描仪拖动机构3带动移动，与系统控制台4通信。
[0022]如图1所示，本专利技术实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法包括：
[0023]第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
[0024]1)二维相机图像中标定板左上点作为二维图像坐标系原点O
2D
，沿标定板图像横边向左为二维相机图像横坐标X
2D
正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y
2D
正方向，垂直二维相机图像平面向下为Z
2D
正方向；
[0025]2)三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的流水线上零件定位与点云获取方法，其特征在于，当在流水线托盘上任意摆放零件后，托盘随流水线依次经过二维检测工位、三维扫描工位，最终输出该托盘上各零件的点云数据和位置坐标，整个过程包括以下几个步骤：第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系；二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正；托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：1)二维相机图像中标定板左上点作为二维图像坐标系原点O
2D
，沿标定板图像横边向左为二维相机图像横坐标X
2D
正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y
2D
正方向，垂直二维相机图像平面向下为Z
2D
正方向；2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O
3D
，沿标定板点云横边向左为三维点云横坐标X
3D
正方向，沿标定板点云纵边向下为三维点云纵坐标Y
3D
正方向，垂直标定板三维点云向下为Z
3D
正方向；3)托盘空间坐标系中以标定板左上点作为空间坐标系原点O
W
，沿标定板横边向左空间坐标系X
W
正方向，沿标定板纵边向下为空间坐标系Y
W
正方向，垂直标定板向下为Z
W
正方向；矩形标定板放置在当前托盘上，随流水线运动至二维相机下端，二维相机随机拍摄托盘图像，并识别二维图像中的矩形标定板；依据公式计算出二维图像坐标与托盘空间坐标的RT
2D
转换关系，其中：Z
Wc
表示相机平面到矩形标定板平面的深度坐标，表示二维相机内参矩阵，P
2D
表示矩形标...

【专利技术属性】
技术研发人员：卢刚，黄朝晖，杨五兵，陈晓永，王环，赖庆文，冯双芹，宋立滨，
申请(专利权)人：中航沈飞民用飞机有限责任公司，
类型：发明
国别省市：