一种基于双目视觉的运动目标跟踪定位与抓取系统技术方案

本实用新型专利技术公开了一种基于双目视觉的运动目标跟踪定位与抓取系统，包括工作台，工作台两端分别设置有机械臂和光源，机械臂通过导线依次连接有电控柜、显示屏、工控机和电源，工控机通过导线连接有摄像机，摄像机位于工作台的顶端，光源通过导线连接电源。本实用新型专利技术通过采用使用摄像机和图像采集卡的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机对位置信息分析后将目标工件位置信息传送给运动控制卡，运动控制卡通过给伺服端子发出指令信息使机械臂做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。

A moving object tracking, locating and grabbing system based on binocular vision

The utility model discloses a tracking and grasping system of moving object based on binocular vision, including table, table are arranged at both ends of the manipulator arm through the wire and a light source is sequentially connected with a control cabinet, display, computer and power supply, industrial computer through wires connected with the camera, the camera is located at the top of table the light source is connected with the power supply through the wire. The utility model uses the combination of camera and image acquisition card, real-time tracking for moving target positioning workpiece position, and then through the computer to the location of the target location information will be transmitted to the motion control card, servo motion control card to the terminal sends out the instruction information for the mechanical arm movement, at the same time make fast grasping workpiece has the advantages of simple structure, and overcomes the defects of the existing target production line workpiece to quickly locate and grasp the problem, has very good practical value.

【技术实现步骤摘要】
一种基于双目视觉的运动目标跟踪定位与抓取系统
本技术属于目标抓取设备
，具体涉及一种基于双目视觉的运动目标跟踪定位与抓取系统。
技术介绍
在生产线中，对于流水线上的工件，机器人存在着对其进行操作的需求。传统工业生产线上是通过机械手设定固定位姿对运动目标工件进行抓取，实现对运动目标工件的抽样检测。在实际生产过程中，由于工件的外形、工件所处的位置不确定等因素，导致在利用传统机器人进行目标工件抓取时出现抓取失败的情况。为了解决这一问题，采用单目相机提取视觉信息进行目标工件的抓取，这种方法省时、简单；但是当运动目标是未知的情况时，深度视觉信息的丢失限制了伺服操作和复杂的控制设计等，还是存在不能精确快速的对目标工件的跟踪和抓取。
技术实现思路
本技术的目的是提供一种基于双目视觉的运动目标跟踪定位与抓取系统，解决了现有生产线上目标工件不能够快速定位和抓取的问题。本技术一种基于双目视觉的运动目标跟踪定位与抓取系统所采用的技术方案是，包括工作台，工作台两端分别设置有机械臂和光源，机械臂通过导线依次连接有电控柜、显示屏、工控机和电源，工控机通过导线连接有摄像机，摄像机位于工作台的顶端，光源通过导线连接电源。本技术的特征还在于，机械臂为四自由度机械臂，且机械臂的自由度与电控柜内的伺服端子数量相同。工控机内还设置有图像采集卡和运动控制卡。摄像机与机械臂、光源位于工作台同侧，且摄像机为双目摄像机。图像采集卡为Matrox图像采集卡。运动控制卡为GT-400-SG运动控制卡。本技术的有益效果是：本技术一种基于双目视觉的运动目标跟踪定位与抓取系统，通过采用使用摄像机和图像采集卡的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机对位置信息分析后将目标工件位置信息传送给运动控制卡，运动控制卡通过给伺服端子发出指令信息使机械臂做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。附图说明图1是本技术一种基于双目视觉的运动目标跟踪定位与抓取系统的结构示意图。图中，1.工作台，2.机械臂，3.电控柜，4.工控机，5.光源，6.显示屏，7.电源，8.摄像机，9.导线，10.图像采集卡，11.运动控制卡，12.伺服端子。具体实施方式下面结合附图和具体实施方式对本技术进行详细说明。本技术一种基于双目视觉的运动目标跟踪定位与抓取系统，如图1所示，包括工作台1，工作台1上有运动的目标工件，工作台1两端分别设置有机械臂2和光源5，机械臂2通过导线9依次连接有电控柜3、显示屏6、工控机4和电源7，工控机4通过导线9连接有摄像机8，摄像机8位于工作台1的顶端，光源5通过导线9连接电源7，光源5为普通的LED灯。机械臂2为四自由度机械臂，且机械臂2的自由度与电控柜3内的伺服端子12数量相同。工控机4内还设置有图像采集卡10和运动控制卡11。图像采集卡10与摄像机8配合工作，将工件位置信息传送给工控机4；工控机4通过计算将结果显示在显示屏6上，同时将指令信息发送至运动控制卡11，运动控制卡11接收到工控机4的信息后，通过伺服端子12使机械臂2做出抓取的动作。摄像机8与机械臂2、光源5位于工作台10同侧，且摄像机8为双目摄像机。图像采集卡10为Matrox图像采集卡。运动控制卡11为GT-400-SG运动控制卡。本技术的使用过程：步骤1，接通电源，打开光源5和摄像机8，对工作台1上方的摄像机8进行标定，标定时采用经典张正友标定方法，对于摄像机8采集的图像，选取3个标定位图像、每个标定位图像分别取6个点，即可求取摄像机8的内外参数；步骤2，通过摄像机8采集工作台1上的运动目标工件的图像信号，然后实时传输给图像采集卡10、工控机4；步骤3，工控机4实时获取步骤2中传输过来的运动目标工件图像信息，利用背景差分法进行运动目标工件检测；步骤4，根据步骤3的检测结果提取目标工件轮廓，工控机4利用Kalman滤波预测Camshift搜索窗口的初始位置，然后利用Camshift算法计算目标工件的位置和大小，再以此位置作为观测值更新Kalman滤波信息，当目标发生大面积遮挡时，Camshift算法得出的目标位置和大小不准确，可使用Kalman滤波信息预测值作为观测值更新Kalman滤波信息，实现对运动目标的跟踪定位；步骤5，根据步骤1中摄像机8的标定信息、步骤4中的对运动目标工件的跟踪位置信息，确定运动目标的实际抓取位置，具体为：根据摄像机8标定的结果，获得摄像机8图像像素位置与场景点位置之间的关系，通过立体匹配获得图像的深度信息，结合背景差分法与形态学检测到的轮廓信息，确定运动目标的三维信息，完成对目标的定位，确定抓取的位置；将此位置传给运动控制卡11，运动控制卡11通过运动学反解，求取机械臂2各个关节的运动参数，同时发出指令信息给伺服端子12使机械臂2完成抓取动作。本技术通过采用使用摄像机8和图像采集卡10的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机4对位置信息分析后将目标工件位置信息传送给运动控制卡11，运动控制卡11通过给伺服端子12发出指令信息使机械臂2做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。本文档来自技高网...

【技术保护点】
一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，包括工作台(1)，工作台(1)两端分别设置有机械臂(2)和光源(5)，所述的机械臂(2)通过导线(9)依次连接有电控柜(3)、显示屏(6)、工控机(4)和电源(7)，工控机(4)通过导线(9)连接有摄像机(8)，摄像机(8)位于工作台(1)的顶端，所述的光源(5)通过导线(9)连接电源(7)。

【技术特征摘要】
1.一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，包括工作台(1)，工作台(1)两端分别设置有机械臂(2)和光源(5)，所述的机械臂(2)通过导线(9)依次连接有电控柜(3)、显示屏(6)、工控机(4)和电源(7)，工控机(4)通过导线(9)连接有摄像机(8)，摄像机(8)位于工作台(1)的顶端，所述的光源(5)通过导线(9)连接电源(7)。2.根据权利要求1所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的机械臂(2)为四自由度机械臂，且机械臂(2)的自由度与电控柜(3)内的伺服端子(12)数量相同。3.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：李鹏飞，田瑜，张蕾，苏泽斌，张宏伟，
申请(专利权)人：西安工程大学，
类型：新型
国别省市：陕西,61