基于机器视觉的机械臂抓取方法、装置及设备制造方法及图纸

本发明专利技术属于机械臂技术领域，公开了一种基于机器视觉的机械臂抓取方法、装置及设备。通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。

【技术实现步骤摘要】
基于机器视觉的机械臂抓取方法、装置及设备
本专利技术涉及机械臂
，尤其涉及一种基于机器视觉的机械臂抓取方法、装置及设备。
技术介绍
随着人工智能浪潮的兴起，机器人在各行各业发挥着日益重要的作用。对机器人而言，抓取是机器人走进真实世界必不可少的技能，比如在物流行业中对物体进行分拣，在工业生产线上完成零件的装配等。然而，在实际应用场景中，被抓取物体的移动轨迹、位置、姿态、可承受力度等均不同，使得机械臂抓取难以应用于各种复杂的应用场景中。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种基于机器视觉的机械臂抓取方法、装置及设备，旨在解决现有技术难以应用于复杂的应用场景中的技术问题。为实现上述目的，本专利技术提供了一种方法，所述方法包括以下步骤:连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。优选地，所述对所述多帧图像进行分析，并根据分析结果确定物体抓取参数的步骤，包括：对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；对所述物体特征数据进行分析，确定抓取位置及抓取角度；根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。优选地，所述对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据的步骤，包括：对所述多帧图像进行纹理识别，以获得物体纹理数据；根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；根据所述多层特征图像数据构建物体特征数据。优选地，所述对所述物体特征数据进行分析，确定抓取位置及抓取角度的步骤，包括：通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。优选地，所述根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间的步骤，包括：根据所述物体纹理数据提取纹理特征；根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。优选地，所述获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹的步骤，包括：获取机械臂的当前坐标，并根据所述运动轨迹及预设抓取距离确定目标抓取位置；根据所述当前坐标及所述目标抓取位置确定机械臂移动轨迹。优选地，所述基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取的步骤，包括：根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。优选地，所述根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置的步骤，包括：根据所述机械臂移动轨迹控制所述机械臂移动；采集所述机械臂移动过程中的障碍物图像数据；对所述障碍物图像数据进行分析，以获得障碍物轮廓信息；根据所述障碍物轮廓信息对所述机械臂移动轨迹进行调整，并返回所述根据所述机械臂移动轨迹控制所述机械臂移动的步骤，直至所述机械臂移动至目标抓取位置。此外，为实现上述目的，本专利技术还提出一种基于机器视觉的机械臂抓取装置，所述基于机器视觉的机械臂抓取包括以下模块：状态确认模块，用于连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；轨迹计算模块，用于在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；参数确定模块，用于对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；轨迹确定模块，用于获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；抓取控制模块，用于基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。此外，为实现上述目的，本专利技术还提出一种基于机器视觉的机械臂抓取设备，所述的基于机器视觉的机械臂抓取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机器视觉的机械臂抓取程序，所述基于机器视觉的机械臂抓取程序被所述处理器执行时实现如上所述的基于机器视觉的机械臂抓取方法的步骤。本专利技术通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的电子设备的结构示意图；图2为本专利技术基于机器视觉的机械臂抓取方法第一实施例的流程示意图；图3为本专利技术基于机器视觉的机械臂抓取方法第二实施例的流程示意图；图4为本专利技术基于机器视觉的机械臂抓取装置第一实施例的结构框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的基于机器视觉的机械臂抓取设备结构示意图。如图1所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccessMemory，RAM)存储器，也可以是稳定的非易失性存储器(Non-V本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的机械臂抓取方法，其特征在于，所述基于机器视觉的机械臂抓取方法包括以下步骤：/n连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；/n在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；/n对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；/n获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；/n基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。/n

【技术特征摘要】
1.一种基于机器视觉的机械臂抓取方法，其特征在于，所述基于机器视觉的机械臂抓取方法包括以下步骤：
连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；
在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；
对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；
获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；
基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。


2.如权利要求1所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述多帧图像进行分析，并根据分析结果确定物体抓取参数的步骤，包括：
对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；
对所述物体特征数据进行分析，确定抓取位置及抓取角度；
根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；
根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。


3.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据的步骤，包括：
对所述多帧图像进行纹理识别，以获得物体纹理数据；
根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；
根据所述多层特征图像数据构建物体特征数据。


4.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述物体特征数据进行分析，确定抓取位置及抓取角度的步骤，包括：
通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；
通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。


5.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间的步骤，包括：
根据所述物体纹理数据提取纹理特征；
根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；
根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。


6.如权利要求1-5...

【专利技术属性】
技术研发人员：郑禄，王珏，帖军，田莎莎，汪红，毛腾跃，谢勇，
申请(专利权)人：中南民族大学，武汉晴川学院，
类型：发明
国别省市：湖北;42