一种烟包自动卸车视觉辅助定位方法及其装置，该方法包括以下步骤：安装固定设施的装置构建、初始标定、图像采集及预处理、计算抓取位置、抓放实施，更新抓取位置直至所有烟包卸车完毕。该装置包括龙门架、双目相机、x方向平移机构、y方向平移机构、升降机构、机械抓手以及计算机控制系统，双目相机分别安装在龙门架前后两根横梁上，y方向平移机构设置在龙门架上，升降机构设置在y方向平移机构上，装有机械抓手的吊臂设置在升降机构上。本发明专利技术实现了对车厢内烟包的自动卸车，视觉辅助定位方法的应用避免了人工介入，大大提高卸车效率、降低工人的劳动强度，精准定位算法的应用能够降低机械抓手的抓空、抓偏概率，减少对包内原烟造成的损坏。的损坏。的损坏。
【技术实现步骤摘要】
一种烟包自动卸车视觉辅助定位方法及其装置
[0001]本专利技术属于烟草输送领域，主要涉及到一种烟包自动卸车视觉辅助定位方法及装置。
技术介绍
[0002]在烟草输送领域中，烟包自动传送技术的发展，很大程度上会影响运输时效性和物料完整性，尤其在烟包卸车环节，现有的机械抓取装置不具备精准定位待运物体的能力，极易出现抓空、抓偏、损坏的现象，造成卸车效率低下、包内原烟造碎较多等问题。视觉定位技术是指通过双目或多目视觉仪获取环境图像信息，并利用立体视觉定位算法分析恢复场景的三维信息，以得到其中的目标物位置信息的技术，该技术具有成本较低、精度和灵活度高等优点。目前在烟包自动卸车的视觉辅助定位技术应用方面有一些相关研究，如专利202022411035.8、202011161434.1、201710301742.1，但关于视觉定位方法都未给出具体的实现算法或流程，实际工业应用的可能性很低。
技术实现思路
[0003]为解决目前烟包卸车过程中无法精准定位烟包位置的问题，本专利技术采用视觉辅助定位技术，通过降噪处理、图像分割、景深分析等算法，给出定点抓取的位置信息，提升烟包卸车的精准化、自动化能力，减少对包内原烟造成的损坏，同时能够大大提高卸车效率。为了克服现有技术中存在的问题，本专利技术提供了一种烟包自动卸车视觉辅助定位方法及其装置。
[0004]本专利技术解决其技术问题所采取的技术方案是：一种烟包自动卸车视觉辅助定位方法，包括以下步骤：1）安装固定设施的装置构建，该装置包括龙门架、双目相机、x方向平移机构、y方向平移机构、升降机构、机械抓手以及计算机控制系统，双目相机分别安装在龙门架的前后两根横梁上，y方向平移机构设置在龙门架两根横梁上方，升降机构设置在y方向平移机构上，升降机构底部设置有吊臂，吊臂上安装有机械抓手；龙门架下方并行设置有烟包传送带和运输车辆通道；2）初始标定，双目相机分别安装在两根横梁的底面上，使用棋盘格对双目相机进行初始标定，先使用左目相机对棋盘格进行拍摄，并标定得到内参数矩阵K1，畸变向量D1，右目重复上述操作，得到内参数矩阵K2，畸变向量D2，利用所得到的四个参数矩阵，使用StereoCalibrate函数计算左右目相机的旋转矩阵R、平移向量T，最后利用所得到的一系列矩阵对图像进行校正；3）图像采集及预处理，双目相机采集运输车辆通道内车厢内烟包的图像，传输至计算机控制系统，该系统内嵌图像处理模块采用图像滤波去除噪声干扰，采用图像分割、边缘检测的方法对图像进行特征提取；4）计算抓取位置，控制系统内嵌位置计算模块采用YOLOv5目标检测算法，输入预
处理后的图像，模块运算后输出对应的烟包抓取位置信息；5）抓放实施，按照给定位置信息，控制系统发送运动指令，控制x方向平移机构、y方向平移机构平移，带动升降机构平移到车厢上方平面的给定位置处，然后升降机构带动安装于吊臂上的机械抓手下降抓起厢内烟包，并移放至烟包传送带上；6）重复步骤3）至步骤5），更新烟包抓取位置信息，依次抓放烟包直至所有烟包卸车完毕。
[0005]进一步的，双目相机的标定方法为，先使用棋盘格标定得到两个相机的内外参数、单应矩阵，然后对原始图像校正，使校正后的两张图像位于同一平面且互相平行，最后进行像素点匹配，根据匹配结果计算每个像素的深度从而得到深度图。
[0006]进一步的，图像预处理包括图像滤波、图像分割、边缘检测三个步骤。相机直接采集的图像，通常会受到各种噪声的干扰，因此采用图像滤波去除图像的噪声信息。相机采集的目标特征，由于外部环境的影响会产生大量的冗余信息，因此采用图像分割、边缘检测的方法从大量的采集信息中提取所需的特征信息。
[0007]进一步地，图像滤波采用中值滤波法，它是一种非线性方法，可以保护图像尖锐的边缘，在平滑脉冲噪声方面非常有效，在预处理阶段对图像进行灰度化后，采用中值滤波模板进行图像滤波，针对图像中的每一个像素值，都采用该点与其邻域中的8 个像素点的中值代替。
[0008]进一步地，图像分割采用局部二值化进行分割，将图像分成若干邻域块，对不同的邻域块取相应的局部平均值作为二值化阀值。
[0009]进一步地，在获取烟包特征信息后，为得到更加精准的图形信息，往往采用边缘检测方式，并利用Canny算子等方法分析计算边缘检测结果，以达到对图像进行精确处理的效果。在计算过程中，先使用高斯滤波平滑图像计算全局梯度，去除局部梯度不是最大的像素点，保留局部梯度最大的像素点，消除由噪点或颜色变化形成的假边缘段，用一个高阈值和一个低阈值来区分边缘像素点。一般情况下，高阈值约为低阈值的两倍。抑制掉小于低阈值的点，最后提取出边缘像素点即为烟包图像的轮廓。
[0010]进一步地，YOLOv5算法是一种采用回归策略的端到端目标检测算法，对照片进行定位模型训练，以获取烟包的准确位置。实现原理是：假设将一幅图像划分为S
×
S个网格，如果检测目标的中心落在网格中，则需要对检测目标所在的具体位置进行估计，一是平面位置按照检测目标在该网格中的平面中心确定，二是高度位置按照图像景深信息确定。
[0011]进一步地，位置计算模块给出机械抓手抓取位置信息和高度信息的规则为，控制器先根据深度图判别是否存在较突出的烟包，若有，则运行YOLOv5算法，优先给出较突出烟包的平面位置、高度信息所对应的抓手抓取位置信息和高度信息，若车厢内烟包高度分布较为均匀，则运行YOLOv5算法只给出烟包的平面位置信息所对应的抓手抓取位置信息，按烟包平均高度计算对应的抓手抓取高度信息。
[0012]本专利技术用于上述述烟包自动卸车视觉辅助定位方法的装置包括龙门架、双目相机、x方向平移机构、y方向平移机构、升降机构、机械抓手以及计算机控制系统，双目相机分别安装在龙门架前后两根横梁上，y方向平移机构设置在龙门架上，升降机构设置在y方向平移机构上，升降机构底部设置有吊臂，吊臂上安装有机械抓手；龙门架下方并行设置有烟包传送带和运输车辆通道；
所述龙门架由四根立柱、两根横梁和两根纵向连接梁构成的梯形体结构，所述龙门架通过x方向平移机构在龙门架轨道上前后位移；所述y方向平移机构架放在两根横梁之间且可沿横梁方向平移；升降机构固定在y方向平移机构上并可通过X型吊轨控制吊臂上升或下降；机械抓手为若干个呈间隔方式布置于吊臂上。
[0013]所述机械抓手为2
‑
6个，沿吊臂方向均布。
[0014]吊臂上的机械抓手固定间隔排列，控制系统通过升降机构控制X型吊轨带动吊臂升降动作，机械抓手由控制系统操纵抓、放烟包本专利技术的有益效果如下：实现了对烟车车厢内烟包的自动卸车，视觉辅助定位方法的应用避免了人工介入，大大提高卸车效率、降低工人的劳动强度，精准定位算法的应用能够降低机械抓手的抓空、抓偏概率，从而减少对包内原烟造成的损坏，保证原料的完整性。
附图说明
[0015]图1为烟包自动卸车装置（带烟车）的结构图。
[0016]图2为视觉辅助定位方法的流程图。
[0017]图中：1、烟包；2、传送带本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种烟包自动卸车视觉辅助定位方法，其特征在于：包括以下步骤：1）安装固定设施的装置构建，该装置包括龙门架、双目相机、x方向平移机构、y方向平移机构、升降机构、机械抓手以及计算机控制系统，双目相机分别安装在龙门架的前后两根横梁上，y方向平移机构设置在龙门架两根横梁上方，升降机构设置在y方向平移机构上，升降机构底部设置有吊臂，吊臂上安装有机械抓手；龙门架下方并行设置有烟包传送带和运输车辆通道；2）初始标定，双目相机分别安装在两根横梁的底面上，使用棋盘格对双目相机进行初始标定，先使用左目相机对棋盘格进行拍摄，并标定得到内参数矩阵K1，畸变向量D1，右目重复上述操作，得到内参数矩阵K2，畸变向量D2，利用所得到的四个参数矩阵，使用Stereo Calibrate函数计算左右目相机的旋转矩阵R、平移向量T，最后利用所得到的一系列矩阵对图像进行校正；3）图像采集及预处理，双目相机采集运输车辆通道内车厢内烟包的图像，传输至计算机控制系统，该系统内嵌图像处理模块采用图像滤波去除噪声干扰，采用图像分割、边缘检测的方法对图像进行特征提取；4）计算抓取位置，控制系统内嵌位置计算模块采用YOLOv5目标检测算法，输入预处理后的图像，模块运算后输出对应的烟包抓取位置信息；5）抓放实施，按照给定位置信息，控制系统发送运动指令，控制x方向平移机构、y方向平移机构平移，带动升降机构平移到车厢上方平面的给定位置处，然后升降机构带动安装于吊臂上的机械抓手下降抓起厢内烟包，并移放至烟包传送带上；6）重复步骤3）至步骤5），更新烟包抓取位置信息，依次抓放烟包直至所有烟包卸车完毕。2.根据权利要求1所述的烟包自动卸车视觉辅助定位方法，其特征在于：双目相机的标定方法为，先使用棋盘格标定得到两个相机的内外参数、单应矩阵，然后对原始图像校正，使校正后的两张图像位于同一平面且互相平行，最后进行像素点匹配，根据匹配结果计算每个像素的深度从而得到深度图。3.根据权利要求1所述的烟包自动卸车视觉辅助定位方法，其特征在于：图像预处理包括图像滤波、图像分割、边缘检测三个步骤。4.根据权利要求3所述的烟包自动卸车视觉辅助定位方法，其特征在于：所述图像滤波采用中值滤波法；所述图像分割采用局部二值化进行分割，...
【专利技术属性】
技术研发人员：朱文魁，杨雨要，王兵，邓国栋，苏子琪，杨伟滨，郭笑恒，朱宝，龙飞，刘洋，李晓嘉，付志伟，
申请(专利权)人：北京紫东科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。