一种生产线上工件实时追踪与定位装置制造方法及图纸

本发明专利技术公开了一种生产线上工件实时追踪与定位装置，通过基于深度学习的神经网络实现对相机捕获的视频流中的工件实时追踪，在识别出视频流中目标后，利用投射出的红外结构光与左右红外相机来获取工件三维坐标，然后通过网络接口将结果输出，可以有效解决复杂工业环境下光线强弱和视觉特征对追踪和测量造成的干扰，能够提供复杂场景下实时准确的景深计算。本发明专利技术具有抗干扰能力强、检测帧率快、准确率高、定位精度高等优点，能够非常方便的实现视线范围内静止或运动工件的实时检测定位。线范围内静止或运动工件的实时检测定位。线范围内静止或运动工件的实时检测定位。

【技术实现步骤摘要】
一种生产线上工件实时追踪与定位装置


[0001]本专利技术涉及计算机视觉目标检测与三维测量目标定位
，具体为一种生产线上工件实时追踪与定位装置。

技术介绍

[0002]随着智能制造的全面开展、部署和实施，各行各业对工业自动化、智能化需求日益增加，开发和生产更加智能化、信息化、高精度的智能制造系统也成为了当下的主要任务，作为机器视觉中的关键技术，目标检测与定位技术在工业生产中也具有很大的应用价值，将具备实时检测定位功能的视觉系统和机械臂用到工业自动化生产线上，能够实现码垛、焊接、涂装、装配等各种功能，但随着工业自动化程度的进步和提高，工业应用场景日益复杂，市场需求也在增加，对于目标检测定位技术的智能化、精度、稳定性和速度都提出了更高的要求。目前主要是利用二维图像并基于深度学习网络模型进行目标检测和被动式三维坐标测量的方法，这种方法具有对相机硬件要求低、实现简单、功耗低等优点，但是容易受光照强度和角度影响，对于缺乏视觉纹理特征的场景匹配很困难，匹配的精度和准确度也很难保证，不适用于场景复杂、受外界因素干扰较多的工业自动化生产线上的工件检测与定位。

技术实现思路

[0003]本专利技术提供一种生产线上工件实时追踪与定位装置，解决了实时检测定位系统能够在复杂场景和任意光照变化下实现对静止或运动工件的检测工作。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种生产线上工件实时追踪与定位装置，包括用于采集彩色图像的彩色相机，用于采集红外图像的红外相机，用于产生结构光的红外激光发射器，用于补偿设备晃动对图像所产生干扰的陀螺仪和加速度计，用于存储数据的存储器，用于数据加工处理的处理器，数据输出接口，视频流输出接口以及用于目标识别算法和目标定位算法。
[0005]优选的，所述处理器包括通用处理器(PS)和可编程逻辑模块(PL)两个部分。
[0006]一种基于生产线上工件实时追踪与定位装置的定位方法，包括如下步骤：
[0007]第一步、通过对采集彩色图像的彩色相机和左右双目红外相机进行标定，获取彩色相机和左右红外相机的内参数和外参数；
[0008]第二步、采集待测工件图像并制作包含训练集和验证集的图像数据集，设计目标检测网络结构并训练得到工件检测网络模型；
[0009]第三步、通过彩色相机获取场景的彩色视频流并使用深度学习工件检测网络获取视频流中的工件类别以及所在图像区域位置坐标，其中，工件回归框像素坐标为(x
c
,y
c
,w,h)；
[0010]第四步、生成归一化的边框值，再分别乘以图像的宽和高，得到工件检测框中心点的像素坐标(x,y)；
[0011]第五步、通过把深度图与彩色图对齐，将红外相机坐标系下的点转换到彩色相机坐标系，获取彩色图中像素点所对应的深度值；
[0012]第六步、根据第一步和第四步获得的相机标定参数与工件图像区域中心点像素坐标，结合三角定位原理计算工件在彩色相机坐标系下的三维坐标，实现工件三维坐标定位；
[0013]第七步、根据第一步至第六步，彩色相机根据捕捉到的图像能实时检测，框出目标工件并对目标三维坐标定位，所利用的公式为：其中，depth是测得的深度，depth scale为深度比例；f
X
和f
Y
分别为彩色相机在x方向和y方向的像素焦距；分别为彩色相机在x方向和y方向的主点。
[0014]优选的，所述定位方法基于神经网络，并且用于训练神经网络的图像数据集包括彩色相机拍摄的工件图像和通过使用的双目红外相机在结构光照射下采集的各种场景和光线下的工件图像，所述工件图像自动进行标注和格式转换。
[0015]优选的，所述第二步中，所述网络模型采用延迟低、精度高的轻量级神经网络模型作为工件检测网络的基础网络。
[0016]优选的，所述网络模型采用Mobilenet作为基础模型来提取初步特征，去掉MobileNet最后的一些层，在Mobilenet的Conv13后面添加了八个卷积层，分别为Conv14_1、Conv14_2、Conv15_1、Conv15_2、Conv16_1、Conv16_2、Conv17_1Conv17_2，该网络从Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2、Conv17_2这6层上抽取六个不同尺度的特征图来进行多尺度融合，在每个特征图上的每个位置(x,y)预先生成多个先验框并进行位置回归和类别置信度回归，并通过非极大值抑制算法获得最终检测结果，所述非极大值抑制算法的步骤为：
[0017]步骤1、对生成的所有候选框进行排序，选出置信度(score)最高的候选框；
[0018]步骤2、遍历剩余框并计算与最高分候选框的交叠率(IoU)，删除IoU大于一定阈值的候选框，交叠率计算原理为：其中A是预测框；B是真实框；IoU是重叠部分面积，删除重叠面积大的候选框，保留重叠面积小的不是同一物体的候选框；
[0019]步骤3、重复步骤1和步骤2，直到删除所有IoU大于阈值的候选框。
[0020]优选的，所述第三步中，通过对所述彩色相机拍摄的视频流进行逐帧检测，按照置信度大小对每帧检测到的工件进行标号，并在显示屏幕上实时显示每个工件目标的类别与三维坐标信息。
[0021]优选的，所述第五步中，所述深度图从双目红外结相机获取取代表场景内物体深度信息，所述彩色图从彩色相机获取。
[0022]与现有技术相比，本专利技术的有益效果：
[0023]1、本专利技术使用基于深度学习轻量级的目标检测网络进行工件实时检测与定位，可以解决深度神经网络中体积大耗费存储空间、网络模型复杂以及检测速度缓慢的问题，配合性能优良的红外相机，实时检测和定位速度方面有一个很大的突破。
[0024]2、本专利技术通过基于主动红外立体声技术的红外相机来实现深度的测量和三维坐标的获取，相较于当下利用被动式双目立体视觉进行三维坐标测量的方式，能有效解决场
景光线强弱和视觉特征造成的问题，在场景复杂、受外界因素干扰较多的工业自动化生产线上也能实现实时准确的景深计算。
[0025]3、本专利技术具有抗干扰能力强、检测帧率快、准确率高、定位精度高、适用范围广等优点，能够在相机视线范围内远近不同距离实现目标工件三维测距，并且能完成对静止或运动工件的实时检测与定位。
附图说明
[0026]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0027]在附图中：
[0028]图1是本专利技术的组成结构示意图；
[0029]图2是本专利技术使用的算法结构框架图；
[0030]图3是本专利技术轻量级深度可卷积网络结构图；
[0031]图4是本专利技术相机的结构光三维透视模型图；
[0032]图5是本专利技术相机成像模型图；
[0033]图6是本专利技术深度图与彩色图对齐原理图。
具体实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生产线上工件实时追踪与定位装置，其特征在于：包括用于采集彩色图像的彩色相机，用于采集红外图像的红外相机，用于产生结构光的红外激光发射器，用于补偿设备晃动对图像所产生干扰的陀螺仪和加速度计，用于存储数据的存储器，用于数据加工处理的处理器，数据输出接口，视频流输出接口以及用于目标识别算法和目标定位算法。2.根据权利要求1所述的一种生产线上工件实时追踪与定位装置，其特征在于：所述处理器包括通用处理器和可编程逻辑模块。3.一种基于权利要求1
‑
2任一项所述的生产线上工件实时追踪与定位装置的定位方法，其特征在于，包括如下步骤：第一步、通过对采集彩色图像的彩色相机和左右双目红外相机进行标定，获取彩色相机和左右红外相机的内参数和外参数；第二步、采集待测工件图像并制作包含训练集和验证集的图像数据集，设计目标检测网络结构并训练得到工件检测网络模型；第三步、通过彩色相机获取场景的彩色视频流并使用深度学习工件检测网络获取视频流中的工件类别以及所在图像区域位置坐标；第四步、生成归一化的边框值，再分别乘以图像的宽和高，得到工件检测框中心点的像素坐标；第五步、通过将深度图与彩色图对齐，将红外相机坐标系下的点转换到彩色相机坐标系，获取彩色图中像素点所对应的深度值；第六步、根据第一步和第四步获得的相机标定参数与工件图像区域中心点像素坐标，结合三角定位原理计算工件在彩色相机坐标...

【专利技术属性】
技术研发人员：张镭，陈黎明，顾乐明，
申请(专利权)人：上海黑拓科技发展有限公司，
类型：发明
国别省市：