本发明专利技术公开了一种基于图像拼接的多物料定位方法，涉及图像处理技术领域，首先通过对物料图像进行特征检测、配准和融合拼接成包含多个物料的大视场图像；再通过对拼接图像进行轮廓拟合和质心计算得到每块物料中心的像素坐标；最后通过坐标转换和相机位移得出物料的实际坐标。本发明专利技术可以实现对大视场多物料的精准定位，无需额外的架设空间，在应用的灵活性和效率上均优于传统的固定式的单目视觉。
【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于图像拼接的多物料定位方法。
技术介绍
1、随着科技的飞速发展，制造业的生产能力得到极大的提升，特别是工业自动化技术的推广，对传统的工业流水线进行了改造和优化，为传统产业的转型升级注入了强劲的推动力，由多个自动化环节所组成的无人流水线替代传统的人工作业时智能化工业的发展趋势。
2、在流水线生产中，物料需要从前一工序所运输的堆垛中拆卸出来，进行再加工后重新码放转运至下一工序。堆垛后输送除了能满足特定工艺需求外，还可以大大降低转运成本。但在输送中物料因启停和相互摩擦而产生的位移，会对自动化拆卸作业产生影响。因此，如何快速准确的对堆垛中的物料进行定位，就是亟待解决的问题。
3、目前广泛应用的是采用机器视觉对物料进行定位，公开文献中有提出基于单目视觉的工业机器人拆垛系统，通过固定的单目工业相机对物料进行图像采样，进而计算物料的位置信息。但是固定的单目视觉存在视场范围小，无法解决大面积堆垛中物料定位的问题；另外，单目工业相机多使用定焦镜头，如果堆垛有多层，顶层与底层之间过大的高度差会产生无法聚焦的问题。
4、也有公开文献提出基于双目视觉的机器人拆垛系统，通过双目相机获取物料的点云数据后对物料进行定位，但是双目视觉系统通过足够的架设高度，能够满足大面积堆垛对视野范围的要求，但是由于架设所需的纵深空间较大，镜头至物料采集面往往需要3米以上的距离才能够拥有足够大的视场面积，普通室内难以满足其对空间的需求，且双目视觉系统所需硬件也成本较高，不易在工业应用方面进行推广使用。</p>5、基于此，本专利技术提出一种基于图像拼接的多物料定位方法，该方法以较低的成本实现对大视场多物料的定位，且无需额外的架设空间，在应用的灵活度和效率上还优于传统固定式的单目视觉。
技术实现思路
1、针对工业流水线中存在的转运堆垛因视场面积大，物料数量多所导致的难以快速准确定位物料位置的问题，本专利技术提供一种基于图像拼接的多物料定位方法。
2、本专利技术解决其技术问题所采用的方案是：一种基于图像拼接的多物料定位方法，包括以下步骤：
3、s1、控制图像移动采集模块移动至物料堆垛上方采样，并根据采样层高度调整图像采集的高度，使其至物料上表面高度差不变；
4、s2、进行图像拼接；对所采集到的基准图像和与其相邻的图像进行特征检测、图像配准和图像融合，从而实现对图像的拼接；
5、s3、物料坐标计算；对拼接完成的整幅图像进行预处理，以将物料与背景分离，之后通过寻找每块物料轮廓用以进行矩形拟合；对物料轮廓的拟合矩形使用cv2.moments()算子，通过返回值中的0阶矩和1阶矩计算出拟合矩形的质心坐标；
6、s4、坐标转换；通过手眼标定将上述得到的物料的质心坐标转换为物料坐标，并结合图像采样间隔计算出物料实际位置坐标，即可实现对多物料的定位。
7、进一步地，所述图像移动采集模块包括机器人系统和视觉系统，所述视觉系统包括工业相机、定焦镜头、光源和用于视觉图像程序处理的工控机。
8、进一步地，所述堆垛底部设有托盘，以物料堆垛托盘顶角作为物料坐标系原点o，偶数层时机器人搭载相机从原点沿x方向移动，奇数层时沿y方向移动。
9、进一步地，采用尺度不变特征转换(sift)算法对图像进行特征检测，包括以下过程：
10、首先按照下式对原图像建立三层高斯差分金字塔模型d(x,y,σ)：
11、d(x,y,σ)＝(g(x,y,kσ)-g(x，y,σ))*i(x，y)
12、上式中：g(x，y，kσ)为不同尺度的高斯函数；k为金字塔层数；i(c,y)为待特征检测图像；
13、之后对高斯金字塔模型中间层的每一个像素与同层相邻的8个像素和相邻层的18个像素进行比较，若为最大值或者最小值，则记为特征点；并计算出特征点梯度的幅值m(x,y)和方向θ(x,y)；如下式所示：
14、
15、
16、上式中，g(x,y)*i(x,y)为金字塔模型中间层的像素信息；
17、最后以特征点为中心，对周围16*16像素区域进行梯度统计；以4*4像素区域均分为16个子区域，每个子区域在8个方向按上式计算梯度的幅值m和方向θ，此16*8描述向量即为该特征点的特征向量。
18、进一步地，所述通过计算两幅图像间的空间变换模型并进行空间变换，以使两幅图像的重叠部分在空间上对准，从而完成图像配准操作。
19、进一步地，所述图像融合时对原始图像分段进行拼接，选取原始图像集中的两张图像作为拼接基准图像，分别求解与其相邻的两张图像的单应性矩阵参数，将两张图像分别代入对应的单应性矩阵并按照下式对图像进行透视变换：
20、
21、
22、最终在透视变换完成的两张相邻图像中间放置基准图像完成图像拼接。
23、进一步地，所述物料坐标计算过程包括：
24、大小为c*r的图像的各阶矩mij按照以下公式进行计算：
25、
26、上式中：c表示图像的列；r表示图像的行；x，y表示水平方向和垂直方向上由坐标位置组成的离散随机变量；f(x,y)表示位置(x,y)处的像素值；
27、以上计算出轮廓的各阶矩，其中1阶矩m01、m10表示轮廓区域的质心；对物料轮廓的拟合矩形使用cv2.moments()算子，返回值中的0阶矩和1阶矩可计算出拟合矩形的质心坐标，即物料质心的像素坐标，其中：
28、
29、上式中：xm表示质心在图像坐标系中x方向上的坐标值；ym表示质心在图像坐标系中y方向上的坐标值。
30、进一步地，所述坐标转换过程包括以下：
31、定义物料坐标(xw，yw，zw)，相机坐标系(xc，yc，zc)，图像坐标系(u，v)，则图像上一点至物料坐标系的变换关系根据以下公式计算：
32、
33、上式中：zc为相机据物料表面的高度；α、β为等效焦距，通过张正友标定法对相机进行标定得出；u0、v0为物料坐标系原点在图像坐标系中的坐标位置；r为物料坐标系相对于相机坐标系的旋转矩阵；t为物料坐标系相对于相机坐标系的平移矩阵；
34、物料质心坐标与图像中心坐标的像素差值由相机标定出的等效焦距进行转换得出物料坐标系下的实际物理差值；
35、对采样的第一幅图像进行坐标转换，获得图像中心在物料坐标系下的坐标(xw1,yw1)，则拼接基准图像中心坐标可按照以下公式计算出：
36、
37、上式中：n为基准图像的序号；dx，dy为机器人移动采样的间隔距离；
38、最后结合所处图像中心在物料坐标系下的值，可最终计算出每块物料质心在物料坐标系下的坐标值。
39、与现有技术相比，本专利技术的有益效果是：
40、本专利技术提供的一种基于图像拼接的多物料定位方法，首本文档来自技高网
...
【技术保护点】
1.一种基于图像拼接的多物料定位方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述图像移动采集模块包括机器人系统和视觉系统，所述视觉系统包括工业相机、定焦镜头、光源和用于视觉图像程序处理的工控机。
3.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述堆垛底部设有托盘，以物料堆垛托盘顶角作为物料坐标系原点O，偶数层时机器人搭载相机从原点沿x方向移动，奇数层时沿y方向移动。
4.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：采用尺度不变特征转换(SIFT)算法对图像进行特征检测，包括以下过程：
5.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：通过计算两幅图像间的空间变换模型并进行空间变换，以使两幅图像的重叠部分在空间上对准，从而完成图像配准操作。
6.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述图像融合时对原始图像分段进行拼接，选取原始图像集中的两张图像作为拼接基准图像，分别求解与其相邻的两张图像的单应性矩阵参数，将两张图像分别代入对应的单应性矩阵并按照下式对图像进行透视变换：
7.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述物料坐标计算过程包括：
8.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述坐标转换过程包括以下：
...
【技术特征摘要】
1.一种基于图像拼接的多物料定位方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述图像移动采集模块包括机器人系统和视觉系统，所述视觉系统包括工业相机、定焦镜头、光源和用于视觉图像程序处理的工控机。
3.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：所述堆垛底部设有托盘，以物料堆垛托盘顶角作为物料坐标系原点o，偶数层时机器人搭载相机从原点沿x方向移动，奇数层时沿y方向移动。
4.根据权利要求1所述的基于图像拼接的多物料定位方法，其特征在于：采用尺度不变特征转换(sift)算法对图像进行特征检测，包括以下过程：
5.根据权利...
【专利技术属性】
技术研发人员：侯龙潇，李建普，赵聪，李晓鹏，雷珊珊，杨成林，范宦潼，白保坤，谢沙沙，王峰，王同斐，张艳吉，张寅腾，马少奇，
申请(专利权)人：河南省机械设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。