基于光学伺服的货物摆放方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质，应用于机器人技术领域，其中基于光学伺服的货物摆放方法，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。

Optical Servo-based Cargo Placement Method, Device, Equipment and Storage Media

The invention discloses an optical servo-based cargo placement method, device, electronic equipment and storage medium, which is applied in the field of robot technology. The optical servo-based cargo placement method obtains the three-dimensional point cloud information of cargo to be placed, analyzes the three-dimensional point cloud information, obtains the edge straight line of the cargo to be placed, and controls the robot to hold the pendulum. When the edge line of the goods to be placed coincides with the laser light line, the control robot places the goods to be placed on the placing plane of the goods, and directly controls the robot to move to the laser light line without pre-planning its trajectory, thus saving time, improving accuracy and speed, thereby improving the control machine. The efficiency and quality of displaying goods by robots.

【技术实现步骤摘要】
基于光学伺服的货物摆放方法、装置、设备和存储介质
本专利技术属于机器人
，尤其涉及一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质。
技术介绍
科技的快速发展，给人们的生活带来翻天覆地的变化，同时也提升了企业的工作效率。而电子商务的蓬勃发展，对国内仓储物流同样提出了前所未有的提速需求。智能机器人在货物的装载、卸载、搬运领域应运而生。在货物的装卸过程中，如何保持装卸货物的稳定性和码货效率成为一个重要技术问题。现有技术中，通常机器人利用机械臂末端的视觉传感器来确定货物的摆放位置，但是一方面视觉传感器若仅跟随机械臂抓取放置任务而动，则会导致视觉传感器获取的有效数据有限甚至不足，从而导致计算出的摆放位置不够准确，甚至发生碰撞、无法执行等失败状况。另一方面，为了获取货舱内的更全面的视觉传感数据，每一次码放货物时机器人都需要控制机械臂多次运动，以使视觉传感器获取所需的有效数据，花费时间较长，效率较低。
技术实现思路
本专利技术提供一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质，旨在解决现有的基于机器人的货物摆放技术，无法准确判断待摆放货物的摆放位置及货物码放效率较低的问题。本专利技术实施例第一方面提供了一种基于光学伺服的货物摆放方法，该方法包括：获取待摆放货物的三维点云信息；分析所述三维点云信息，得到所述待摆放货物的边缘直线；控制激光网格投影仪向货物摆放平面投射一条激光亮线；控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制机器人将所述待摆放货物放置在所述货物摆放平面。进一步的，所述获取待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线包括：将多个三维点云拼合成所述待摆放货物的拼合点云，其中拼合点云包含所述待摆放货物完整的长宽高信息；根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面；获取其中相邻两个平面的一条相交线，其中相交线为所述待摆放货物的边缘直线。进一步的，在所述根据拼合点云拟合出多个矩形区域之后还包括：获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出所述待摆放货物区域。进一步的，所述将达到预设条件的一矩形区域作为参考平面包括：获得每一矩形区域的角点信息；根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面。进一步的，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：旋转拼合点云，将参考平面的相交两边分别设为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；所述根据所述参考平面和相关平面拟合出所述待摆放货物区域包括：将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到所述待摆放货物区域应有的方位；融合所述参考平面和相关平面的位置，拟合出所述待摆放货物的长方体区域。进一步的，所述控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合，包括：分析所述待摆放货物的长方体区域，得到所述待摆放货物的获持位置以及获持姿态；根据所述获持位置和所述获持姿态，控制所述机器人获持所述待摆放货物；调整所述机器人的获持角度，使得所述待摆放货物的边缘直线与所述激光亮线平行；控制所述机器人平移到所述货物摆放平面的激光亮线上方。本专利技术实施例第二方面提供了一种基于光学伺服的货物摆放装置，包括：多个视觉机构，多个视觉机构设于货物摆放平面的正上方，用于360度全方位的获取待摆放货物的图像数据，其中图像数据用于提取待摆放货物的三维点云信息；激光网格投影仪，所述激光网格投影仪设于多个视觉机构的中间，用于向货物摆放平面投射条激光亮线；分析模块，用于分析所述待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线；确定模块，用于根据激光亮线的位置，确定待摆放货物的摆放位置；追踪模块，用于控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制模块，用于控制机器人将所述待摆放货物放置在所述摆放位置。进一步的，所述分析模块还用于将多个三维点云拼合成所述待摆放货物的拼合点云，根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面，获取其中相邻两个平面的一条相交线，得到的相交线为所述待摆放货物的边缘直线。本专利技术实施例第三方面提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的程序指令，所述程序指令被所述至少一个处理器执行，实现上述基于光学伺服的货物摆放方法。本专利技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述基于光学伺服的货物摆放方法。本专利技术提供的基于光学伺服的货物摆放方法、装置、系统以及电子设备和可读存储介质，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例。图1是本专利技术实施例提供的基于光学伺服的货物摆放方法的应用环境示意图；图2是本专利技术第一实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；图3是本专利技术第二实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；图4是本专利技术第三实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；图5是本专利技术第三实施例提供的根据拼合点云拟合出待货物摆放的形状示意图；图6是本专利技术第四实施例提供的基于光学伺服的货物摆放装置的结构示意图；图7是本专利技术第四实施例提供的基于光学伺服的货物摆放装置中的控制模块的结构示意图；图8是本专利技术第五实施例提供的电子设备的硬件结构示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了便于理解本专利技术方案，以下结合一具体应用场景加以阐述，但并不用于限定本专利技术的保护范围。请参阅图1，图1为本专利技术实施例提供的基于光学伺服的货物摆放方法的应用环境示意图。如图1所示，该示例中，机器人10通过有线或无线的方式，与服务器80进行数据交互，根据服务器80发送的指令，前往货舱30执行卸货或装货操作。例如：将货物60从货舱30之外的地方装载至货舱30的摆放空间40。其中，机器人10可以是单独的一个机器人，也可以是由多个机本文档来自技高网...

【技术保护点】
1.一种基于光学伺服的货物摆放方法，其特征在于，所述方法包括：获取待摆放货物的三维点云信息；分析所述三维点云信息，得到所述待摆放货物的边缘直线；控制激光网格投影仪向货物摆放平面投射一条激光亮线；控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制机器人将所述待摆放货物放置在所述货物摆放平面。

【技术特征摘要】
1.一种基于光学伺服的货物摆放方法，其特征在于，所述方法包括：获取待摆放货物的三维点云信息；分析所述三维点云信息，得到所述待摆放货物的边缘直线；控制激光网格投影仪向货物摆放平面投射一条激光亮线；控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制机器人将所述待摆放货物放置在所述货物摆放平面。2.如权利要求1所述的基于光学伺服的货物摆放方法，其特征在于，所述获取待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线包括：将多个三维点云拼合成所述待摆放货物的拼合点云，其中拼合点云包含所述待摆放货物完整的长宽高信息；根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面；获取其中相邻两个平面的一条相交线，其中相交线为所述待摆放货物的边缘直线。3.如权利要求2所述的基于光学伺服的货物摆放方法，其特征在于，在所述根据拼合点云拟合出多个矩形区域之后还包括：获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出所述待摆放货物区域。4.如权利要求3所述的基于光学伺服的货物摆放方法，其特征在于，所述将达到预设条件的一矩形区域作为参考平面包括：获得每一矩形区域的角点信息；根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面。5.如权利要求4所述的基于光学伺服的货物摆放方法，其特征在于，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：旋转拼合点云，将参考平面的相交两边分别设为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；所述根据所述参考平面和相关平面拟合出所述待摆放货物区域包括：将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到所述待摆放货物区域应有的方位；融合所述参考平面和相关平面的位置，拟合出所述待摆放货物的长方体区域。6.如权利要求5所述...

【专利技术属性】
技术研发人员：夏世民，
申请(专利权)人：深圳蓝胖子机器人有限公司，
类型：发明
国别省市：广东,44