基于3D视觉的图像数据在线采集系统及方法技术方案

本发明专利技术公开了一种基于3D视觉的图像数据在线采集系统及方法，该系统包括：智能3D相机、机器人装置和图像采集装置；输入接口用于供图像采集装置接收智能3D相机采集的图像数据和机器人装置的状态信息；输出接口用于将图像采集装置的控制指令发送至智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置；智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置；机器人装置根据接收到的位姿信息将目标物料转移至物料传送系统。本发明专利技术的基于3D视觉的图像数据在线采集系统及方法，实现图像数据采集去工人化，且在数据采集的同时能够进行正常的生产活动，维持生产线正常运转。

【技术实现步骤摘要】
基于3D视觉的图像数据在线采集系统及方法
本专利技术涉及一种基于3D视觉的图像数据在线采集系统及方法。
技术介绍
随着国内制造业转型升级和企业降本增效的推进，越来越多加工型企业引入了自动化设备，实现机器换人。在自动化改造过程中，3D视觉起着至关重要的作用。3D视觉作为工业机器人的“眼睛”，结合深度学习算法识别定位场景中的物体，并引导机器人完成抓取。3D视觉在拆码垛领域的应用极为广泛，如农副食品加工业(粮食、饲料加工)、化工行业(化肥、化工原料生产)、建材行业(混凝土、耐火砖生产)等等。在这些场景中，3D视觉结合深度学习模型用于识别袋子、物体的表面形状(圆形、方形、梯形)并计算出物体的6D位姿。在实际应用中，物体识别定位的准确率在很大程度上取决于深度学习模型训练的准确率。为了提高深度学习模型训练的准确率，通常需要在生产场景中采集大量的图像数据用于深度学习模型的训练。传统的图像数据采集方式需要工人配合完成，图像数据采集效率低下，而且影响生产活动的正常进行。例如在饲料加工厂中，需要采集不同光照条件下、饲料堆垛在不同状态下的袋子图像，每采集一张图像需要工人配合从堆垛中拆下一袋饲料，然后再采集下一张图像，依次完成图像采集。另外，在耐火砖生产线改造中，如果没有深度学习模型，就无法实现耐火砖的自动搬运，所以需要提前采集图像数据进行模型训练。但事先没有耐火砖样品供图像数据采集使用，只能在产线投入使用时才能开始采集图像数据，导致搬运后续生产环节处于停滞状态。
技术实现思路
本专利技术提供了一种基于3D视觉的图像数据在线采集系统及方法，采用如下的技术方案：一种基于3D视觉的图像数据在线采集系统，包含：智能3D相机，用于采集视野中目标区域的图像数据；机器人装置，用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统；图像采集装置，用于接收图像采集人员的操作从而控制智能3D相机和机器人装置；图像采集装置通过输入接口和输出接口与智能3D相机和机器人装置进行信息交互；输入接口用于供图像采集装置接收智能3D相机采集的图像数据和机器人装置的状态信息；输出接口用于将图像采集装置的控制指令发送至智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置；智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置；机器人装置根据接收到的位姿信息将目标物料转移至物料传送系统。进一步地，图像采集装置包括：用户交互单元，用于接收图像采集人员的输入操作；相机控制单元，用于设定智能3D相机的拍照参数以及控制3D相机进行拍照；通讯模块，用于图像采集装置与智能3D相机和机器人装置之间的数据和指令的传输；图像存储模块，用于存储智能3D相机采集到的图像数据；图像显示模块，用于显示和查看智能3D相机的2D视野以及采集到的图像数据；用户交互单元还用于供图像采集人员操作从图像显示模块显示的图像数据中选取中心点和朝向；位姿估计模块，用于根据图像数据、中心点和朝向计算选定的目标物料的6D位姿；手眼标定模块，用于获取智能3D相机的坐标系和机器人装置的坐标系的转换关系，并根据转换关系将位姿估计模块计算出的目标物料的6D位姿变换为机器人装置坐标系中的位姿信息。进一步地，用户交互单元包含鼠标、键盘和图形化交互界面。进一步地，图像采集装置还包括：安全模块，用于在图像采集过程中发生危险操作时紧急停止系统的运行。进一步地，图像采集装置还包括：训练模块，用于根据获取到的图像数据对深度学习模型进行训练。进一步地，图像数据包括2D图像和三维点云数据。进一步地，机器人装置包括：机器人本体，用于执行目标物料的抓取和搬运工作；机器人控制系统，用于控制机器人本体。一种基于3D视觉的图像数据在线采集方法，用于基于3D视觉的图像数据在线采集系统，基于3D视觉的图像数据在线采集系统包括：用于采集视野中目标区域的图像数据的智能3D相机、用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统的机器人装置和用于接收图像采集人员的操作从而控制智能3D相机和机器人装置的图像采集装置；图像采集装置通过输入接口和输出接口分别与智能3D相机和机器人装置进行信息交互；基于3D视觉的图像数据在线采集方法包括：通过图像采集装置获取智能3D相机坐标系和机器人装置坐标系的转换关系；控制智能3D相机采集视野中目标区域的目标物料的图像数据；接收并显示智能3D相机采集到的图像数据；设定目标物料的中心点和朝向；根据图像数据、中心点和朝向计算目标物料的6D位姿；将6D位姿转换成机器人装置坐标系中的目标物料的抓取点位姿信息并发送至机器人装置；机器人装置根据位姿信息抓取目标物料并将其搬运至物料传送系统。进一步地，图像采集装置包括：用户交互单元、相机控制单元、通讯模块、图像存储模块、图像显示模块、位姿估计模块和手眼标定模块；基于3D视觉的图像数据在线采集方法进一步为：通过手眼标定模块获取智能3D相机坐标系和机器人装置坐标系的转换关系；通过相机控制单元设定智能3D相机的参数并控制智能3D相机采集视野中目标区域的目标物料的图像数据；通过图像存储模块保存图像数据；通过图像显示模块显示图像数据；通过用户交互单元从显示的图像数据中选取中心点和朝向；通过位姿估计模块根据图像数据、中心点和朝向计算目标物料的6D位姿；通过手眼标定模块将6D位姿转换成机器人装置坐标系中的目标物料的抓取点的位姿信息并发送至机器人装置；机器人装置根据位姿信息抓取目标物料并将其搬运至物料传送系统。进一步地，在通过智能3D相机获取图像数据时确保机器人装置不在视野中；图像数据包含2D图像和三维点云数据。本专利技术的有益之处在于所提供的基于3D视觉的图像数据在线采集系统及方法，实现图像数据采集去工人化，用机器人代替工人搬运，配合3D视觉系统完成数据采集。同时实现在线图像数据采集，在数据采集的同时能够进行正常的生产活动，维持生产线正常运转。附图说明图1是本专利技术的基于3D视觉的图像数据在线采集系统的示意图；图2是本专利技术的图像采集装置的示意图；图3是本专利技术的基于3D视觉的图像数据在线采集方法的示意图；图4是本专利技术的基于3D视觉的图像数据在线采集方法的另一示意图。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。如图1所示为本专利技术的一种基于3D视觉的图像数据在线采集系统，用于实时获取图像数据。该系统主要包含：智能3D相机14、机器人装置15和图像采集装置11。智能3D相机14用于采集视野中目标区域的图像数据。机器人装置15用于对堆垛输送系统16输送过来的目标物料进行抓取并将本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的图像数据在线采集系统，其特征在于，包含：/n智能3D相机，用于采集视野中目标区域的图像数据；/n机器人装置，用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统；/n图像采集装置，用于接收图像采集人员的操作从而控制所述智能3D相机和所述机器人装置；/n所述图像采集装置通过输入接口和输出接口与所述智能3D相机和所述机器人装置进行信息交互；/n所述输入接口用于供所述图像采集装置接收所述智能3D相机采集的图像数据和所述机器人装置的状态信息；/n所述输出接口用于将所述图像采集装置的控制指令发送至所述智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至所述机器人装置；/n所述智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至所述图像采集装置；/n所述机器人装置根据接收到的所述位姿信息将目标物料转移至物料传送系统。/n

【技术特征摘要】
1.一种基于3D视觉的图像数据在线采集系统，其特征在于，包含：
智能3D相机，用于采集视野中目标区域的图像数据；
机器人装置，用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统；
图像采集装置，用于接收图像采集人员的操作从而控制所述智能3D相机和所述机器人装置；
所述图像采集装置通过输入接口和输出接口与所述智能3D相机和所述机器人装置进行信息交互；
所述输入接口用于供所述图像采集装置接收所述智能3D相机采集的图像数据和所述机器人装置的状态信息；
所述输出接口用于将所述图像采集装置的控制指令发送至所述智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至所述机器人装置；
所述智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至所述图像采集装置；
所述机器人装置根据接收到的所述位姿信息将目标物料转移至物料传送系统。


2.根据权利要求1所述的基于3D视觉的图像数据在线采集系统，其特征在于，
所述图像采集装置包括：
用户交互单元，用于接收图像采集人员的输入操作；
相机控制单元，用于设定所述智能3D相机的拍照参数以及控制所述3D相机进行拍照；
通讯模块，用于所述图像采集装置与所述智能3D相机和所述机器人装置之间的数据和指令的传输；
图像存储模块，用于存储所述智能3D相机采集到的图像数据；
图像显示模块，用于显示和查看所述智能3D相机的2D视野以及采集到的图像数据；
所述用户交互单元还用于供图像采集人员操作从所述图像显示模块显示的图像数据中选取中心点和朝向；
位姿估计模块，用于根据所述图像数据、所述中心点和所述朝向计算选定的目标物料的6D位姿；
手眼标定模块，用于获取所述智能3D相机的坐标系和所述机器人装置的坐标系的转换关系，并根据所述转换关系将所述位姿估计模块计算出的目标物料的6D位姿变换为所述机器人装置坐标系中的位姿信息。


3.根据权利要求2所述的基于3D视觉的图像数据在线采集系统，其特征在于，
所述用户交互单元包含鼠标、键盘和图形化交互界面。


4.根据权利要求2所述的基于3D视觉的图像数据在线采集系统，其特征在于，
所述图像采集装置还包括：
安全模块，用于在图像采集过程中发生危险操作时紧急停止系统的运行。


5.根据权利要求2所述的基于3D视觉的图像数据在线采集系统，其特征在于，
所述图像采集装置还包括：
训练模块，用于根据获取到的图像数据对深度学习模型进行训练。


6.根据权利要求1-5任一所述的基于3D视觉的图像数据在线采集系统，其特征在于，
所述图像数据包括2D图像和三维点云数据。
...

【专利技术属性】
技术研发人员：樊钰，赵明明，李宏坤，田璇，胡得龙，
申请(专利权)人：北京迁移科技有限公司，
类型：发明
国别省市：北京;11