基于视觉检测的机械手辅助上下料和避障检测系统及方法技术方案

本发明专利技术公开了基于视觉检测的机械手辅助上下料和避障检测系统及方法，包括送料系统，视觉检测装置和控制终端；送料系统为上料和下料一组机械手，上料机械手负责将物料送至压力机，下料机械手负责将折弯的板料从压力机下取出并码放在指定位置；视觉检测装置包括升降台、视觉传感器、数据处理单元，该装置主要负责对工作台的环境进行视觉扫描，经数据处理单元处理将信号传输给控制终端；所述控制终端包括控制台和显示器，通过无线收发模块与视觉检测装置相连，可以将视觉传感器检测到的图像直观显示出来，同时将控制指令传输给上料和下料机械手，帮助其及时识别障碍物以完成上料和下料作业，具备远程终端操控功能。

Manipulator aided loading and unloading and obstacle avoidance detection system and method based on visual inspection

【技术实现步骤摘要】
基于视觉检测的机械手辅助上下料和避障检测系统及方法
本专利技术涉及机械手智能折弯作业领域，特别涉及基于视觉检测的机械手辅助上下料和避障检测系统及方法。
技术介绍
在金属板材成形领域，板材的安全上料问题一直是一个避不开的话题，早期的板材成形制造领域，都是依靠人工将板材搬运到压力机或者压力机的上料口完成板材的上料，但是对于这种大型机器而言，近距离的接触会对工作人员造成巨大的威胁，稍有不慎就会操作人员产生人身伤害，随着技术的发展，工业机器人开始代替人们从事这些安全风险较大的工作，早期的机械手在代替人们上料的过程中不能像人类这样多感官协调工作，因而存在会与板材或周围环境碰撞的隐患，甚至造成人身伤害事故，随着现代传感器技术的发展，机械手的灵活性问题可以有更好的解决思路。
技术实现思路
为了克服现有技术中的不足，本专利技术提供基于视觉检测的机械手辅助上下料和避障检测系统及方法，解决现有技术中通过人工进行上下料及避障所产生的安全问题。为了达到上述专利技术目的，解决其技术问题所采用的技术方案如下：本专利技术公开了基于视觉检测的机械手辅助上下料和避障检测系统，包括送料系统、视觉检测装置和控制终端，其中：所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；所述控制终端包括控制台和第三无线通讯装置，其中：所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。进一步的，所述控制终端还包括显示器，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器检测到的原始环境图像/视频。进一步的，所述控制终端还包括报警器，所述报警器与所述控制台相连，用于当检测到工作区内存在移动障碍物且障碍物的移动速度过快已经不足以让系统重新规划移动路径时触发报警器进行报警。优选的，所述视觉传感器为双目视觉相机，用于通过对工作区环境图像/视频的采集与后处理，剔除图像/视频中的干扰杂质，再通过数据处理单元对图像/视频的填充分割、边缘提取得到精准的障碍物位置与形状信息，进而通过数据处理单元实现地图重建，实现机械手的避障与导航。优选的，所述第一无线通讯装置、第二无线通讯装置和第三无线通讯装置均为信号收发器。本专利技术还公开了基于视觉检测的机械手辅助上下料及避障检测方法，利用上述所述基于视觉检测的机械手辅助上下料及避障检测系统进行上下料及避障，具体包括以下步骤：步骤1：根据工作区环境给上下料机械手预设基本移动路径；步骤2：激活视觉检测装置使其处于工作模式；步骤3：当移动路径中不存在未知障碍物时，视觉传感器辅助机械手进行板材的精准上下料；当移动路径中存在未知障碍物时，视觉传感器采集障碍物空间及速度信息并制定新的路径；步骤4：当路径规划成功时，视觉传感器辅助机械手进行板材的精准上下料；当路径规划不成功且与障碍物存在碰撞风险时，报警系统报警，同时放弃原路径并调用机械手末端的距离传感器进行单纯避障；步骤5：单纯避障成功后重新规划路径，视觉传感器辅助机械手进行板材的精准上下料。进一步的，步骤2中，在上下料机械手吸附板材移动的过程中，视觉传感器全程监控整个工作区。进一步的，步骤3中，移动路径中不存在未知障碍物时，当待加工板材即将送至压力机工作区范围时，视觉传感器会扫描压力机工作区的图像/视频信息，经过数据处理单元的处理，快速确定待加工板材与压力机上料口的相对位置，并通过第二无线通讯装置将经过数据处理单元处理后得到的图像/视频信息传送到控制台，由控制台形成第一控制指令，第一控制指令通过第三无线通讯装置传送给上料机械手从而使得机械手更加精准的完成上料过程。进一步的，步骤3中，移动路径中存在未知障碍物时，根据视觉传感器检测到的原始环境图像/视频快速的计算出障碍物的移动速度并预测移动轨迹，基于此预测划定所预测的该轨迹以及周围的一部分空间范围为危险区域。进一步的，步骤4中，针对移动障碍物的移动速度设有一个速度上限，如果当障碍物的移动速度快，已经不足以让系统重新规划移动路径，则将触发报警系统。本专利技术由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：本专利技术基于视觉检测的机械手辅助上下料和避障检测系统，将视觉检测整合进来，用于工作区全场的环境障碍物扫描以及辅助机械手的精准送料，利用无线通讯实现系统间的联系与控制，方便操作人员在安全区域内远程通过控制终端实时观测设备运行状态，并保有对设备的紧急控制权。该系统有效克服了现有技术中通过人工进行上下料及避障的安全性问题本文档来自技高网...

【技术保护点】
1.基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，包括送料系统、视觉检测装置和控制终端，其中：/n所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：/n所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；/n所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；/n所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；/n所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；/n所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；/n所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；/n所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：/n所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；/n所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；/n所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；/n所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；/n所述控制终端包括控制台和第三无线通讯装置，其中：/n所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；/n所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。/n...

【技术特征摘要】
1.基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，包括送料系统、视觉检测装置和控制终端，其中：
所述送料系统包括上料机械手控制柜、上料机械手、下料机械手控制柜、下料机械手和第一无线通讯装置，其中：
所述上料机械手控制柜设置在工作区内，用于通过控制所述上料机械手从而实现对待加工板材的搬运；
所述上料机械手设置在所述上料机械手控制柜的上方，并与所述上料机械手控制柜固定连接，用于将位于工作区内的待加工板材传送至压力机；
所述下料机械手控制柜设置在工作区内，用于通过控制所述下料机械手从而实现对加工后板材的码放；
所述下料机械手设置在所述下料机械手控制柜的上方，并与所述下料机械手控制柜固定连接，用于将折弯的加工后板材从压力机下取出并码放到工作区内的指定位置；
所述上料机械手和下料机械手的末端均安装有距离传感器，用于检测所述上料机械手和/或下料机械手与工作区内的障碍物之间的距离；
所述第一无线通讯装置分别内置于所述上料机械手控制柜和下料机械手控制柜中，用以接收所述控制终端传送的第一控制指令、第二控制指令和/或第三控制指令；
所述视觉检测装置包括视觉传感器、升降台、数据处理单元以及第二无线通讯装置，其中：
所述升降台设置于工作区内，用于带动所述视觉传感器进行上升或下降；
所述视觉传感器设置于所述升降台的顶部，并位于所述上料机械手和下料机械手相对的一侧，用于对工作区内的环境进行视觉扫描得到原始环境图像/视频；
所述数据处理单元内置于所述升降台内部，并与所述视觉传感器、第二无线通讯装置电性连接，用于对所述视觉传感器检测到的原始环境图像/视频进行数据处理从而得到环境图像/视频信息；
所述第二无线通讯装置内置于所述升降台内部，并与所述数据处理单元电性连接同时与所述第一无线通讯装置和控制终端无线连接，用于将所述数据处理单元处理后得到的环境图像/视频信息传送至所述控制终端；
所述控制终端包括控制台和第三无线通讯装置，其中：
所述控制台设置于工作区外，用于当检测到工作区内不存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速确定待加工板材与压力机上料口的相对位置从而形成第一控制指令或快递确定加工后板材与加工后板材堆放区的相对位置从而形成第二控制指令；或，当检测到工作区内存在移动障碍物时根据所述数据处理单元处理后得到的环境图像/视频信息快速计算出移动障碍物的移动速度并预测移动轨迹从而形成第三控制指令；
所述第三无线通讯装置内置于所述控制台内部，并与所述第一无线通讯装置和第二无线通讯装置无线连接，用于接收所述第二无线通讯模块传输过来的环境图像/视频信息并将所述控制台生成的第一控制指令、第二控制指令和/或第三控制指令通过所述第一无线通讯装置传送给所述上料机械手和/或下料机械手从而完成避障。


2.根据权利要求1所述的基于视觉检测的机械手辅助上下料和避障检测系统，其特征在于，所述控制终端还包括显示器，所述显示器与所述控制台电性连接，用于实时显示所述视觉传感器检测到的原始环境图像/视频。


3.根据权利要求1所述的基于视觉检测...

【专利技术属性】
技术研发人员：付泽民，吴力杰，赵志繁，石博文，乔涛涛，熊鹏鹏，余奇，王志进，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：上海;31