基于3D匹配的物体抓取方法、装置及计算设备制造方法及图纸

本发明专利技术公开了一种基于3D匹配的物体抓取方法、装置及计算设备，其中，该方法包括：获取场景图像以及场景图像对应的点云，将场景图像输入至深度学习分割模型中进行实例分割处理，得到场景图像中各个物体的分割结果；根据场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云；针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息；根据各个物体对应的点云，识别物体之间的堆叠关系，依据堆叠关系从各个物体中确定目标物体，并将目标物体的位姿信息转换至机器人坐标系中，将目标物体转换后的位姿信息传输至机器人。该方案实现了对各个物体的位姿信息的精准确定，并有效地提高了物体抓取精准度。

【技术实现步骤摘要】
基于3D匹配的物体抓取方法、装置及计算设备
本专利技术涉及计算机
，具体涉及一种基于3D匹配的物体抓取方法、装置及计算设备。
技术介绍
随着工业智能化的发展，通过机器人代替人工对物体(例如工业零件、箱体等)进行操作的情况越来越普及。在机器人操作时，一般需要抓取物体，将物体从一个位置移动并放置至另一位置处，例如从传送带上抓取物体移动并放置于托盘上或笼车中，又如从托盘上抓取物体，按要求放置于传送带或其他托盘上等。然而，现有技术中对于待抓取的物体的位姿信息的确定不够精准，容易导致机器人出现抓取失误的情况，例如机器人无法成功抓取物体，或者物体被抓取后掉落，甚至抓取的是被压物体导致位于被压物体上方的物体掉落等情况，影响实现工业自动化。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于3D匹配的物体抓取方法、装置及计算设备。根据本专利技术的一个方面，提供了一种基于3D匹配的物体抓取方法，该方法包括：获取当前场景的场景图像以及场景图像对应的点云，将场景图像输入至经过训练的深度学习分割模型中进行实例分割处理，得到场景图像中各个物体的分割结果；根据场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云；针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息；根据各个物体对应的点云，识别物体之间的堆叠关系，依据堆叠关系，从各个物体中确定目标物体，并将目标物体的位姿信息转换至机器人坐标系中，将目标物体转换后的位姿信息传输至机器人，以供机器人根据目标物体转换后的位姿信息执行针对目标物体的抓取操作。根据本专利技术的另一方面，提供了一种基于3D匹配的物体抓取装置，该装置包括：获取模块，适于获取当前场景的场景图像以及场景图像对应的点云；实例分割模块，适于将场景图像输入至经过训练的深度学习分割模型中进行实例分割处理，得到场景图像中各个物体的分割结果；物体点云确定模块，适于根据场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云；匹配模块，适于针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息；堆叠识别模块，适于根据各个物体对应的点云，识别物体之间的堆叠关系；处理模块，适于依据堆叠关系，从各个物体中确定目标物体，并将目标物体的位姿信息转换至机器人坐标系中，将目标物体转换后的位姿信息传输至机器人，以供机器人根据目标物体转换后的位姿信息执行针对目标物体的抓取操作。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于3D匹配的物体抓取方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于3D匹配的物体抓取方法对应的操作。根据本专利技术提供的技术方案，利用深度学习分割模型对场景图像进行实例分割，实现了对场景图像中各个物体的精准分割，通过将各个物体对应的点云与预设模板点云进行匹配，实现了对各个物体的位姿信息的精准确定，有助于机器人根据物体的位姿信息能够精准、牢固地执行抓取操作，避免出现机器人无法成功抓取物体或者物体被抓取后掉落的情况；并且本方案还能够依据物体之间的堆叠关系来确定待抓取的目标物体，避免出现误将被压物体作为目标物体进行抓取而导致位于被压物体上方的物体掉落的情况，有效地提高了物体抓取精准度，优化了物体抓取方式。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的基于3D匹配的物体抓取方法的流程示意图；图2示出了根据本专利技术另一个实施例的基于3D匹配的物体抓取方法的流程示意图；图3示出了根据本专利技术一个实施例的基于3D匹配的物体抓取装置的结构框图；图4示出了根据本专利技术实施例的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的基于3D匹配的物体抓取方法的流程示意图，如图1所示，该方法包括如下步骤：步骤S101，获取当前场景的场景图像以及场景图像对应的点云，将场景图像输入至经过训练的深度学习分割模型中进行实例分割处理，得到场景图像中各个物体的分割结果。其中，可通过相机采集当前场景的场景图像和深度图像，相机具体可为3D相机，设置在上方位置处，3D相机可同时采集相机视角内的当前场景的信息，得到场景图像和深度图像，场景图像具体可为RGB图像，场景图像和深度图像的像素点一一对应。通过对场景图像和深度图像进行处理，能够便捷地得到场景图像对应的点云，点云包括各个3D点的位姿信息，各个3D点的位姿信息具体可包括各个3D点在空间的XYZ三轴的坐标值以及各个3D点自身的XYZ三轴朝向等信息。在步骤S101中，可获取相机采集到的当前场景的场景图像以及通过对场景图像和深度图像进行处理而得到的场景图像对应的点云。为了能够便捷、精准地分割出场景图像中所包含的每个物体，可预先收集样本场景图像，构建训练样本集合，采用深度学习算法对训练样本集合中的各个样本场景图像进行训练，最终训练得到深度学习分割模型，那么在获取了当前场景的场景图像之后，可将场景图像输入至经过训练的深度学习分割模型中，利用经过训练的深度学习分割模型进行一系列的模型计算，对场景图像中所包含的每个物体进行实例分割处理，从而得到场景图像中各个物体的分割结果。步骤S102，根据场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云。具体地，可将场景图像对应的点云与经实例分割处理得到的各个物体的分割结果进行匹配，从场景图像对应的点云中查找到各个物体对应的3D点，针对每个物体，汇总该物体对应的所有3D点形成该物体对应的点云。步骤S103，针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息。为了能够方便、精准地识别场景图像中各个物体的位姿信息，预先构建了包含有多个预设模板点云的模板库，预设模板点云为预先确定的、作为匹配基准的已知物体对应的点云。针对从场景图本文档来自技高网...

【技术保护点】
1.一种基于3D匹配的物体抓取方法，所述方法包括：/n获取当前场景的场景图像以及所述场景图像对应的点云，将所述场景图像输入至经过训练的深度学习分割模型中进行实例分割处理，得到所述场景图像中各个物体的分割结果；/n根据所述场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云；/n针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息；/n根据各个物体对应的点云，识别物体之间的堆叠关系，依据所述堆叠关系，从各个物体中确定目标物体，并将所述目标物体的位姿信息转换至机器人坐标系中，将所述目标物体转换后的位姿信息传输至机器人，以供机器人根据所述目标物体转换后的位姿信息执行针对所述目标物体的抓取操作。/n

【技术特征摘要】
1.一种基于3D匹配的物体抓取方法，所述方法包括：
获取当前场景的场景图像以及所述场景图像对应的点云，将所述场景图像输入至经过训练的深度学习分割模型中进行实例分割处理，得到所述场景图像中各个物体的分割结果；
根据所述场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云；
针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息；
根据各个物体对应的点云，识别物体之间的堆叠关系，依据所述堆叠关系，从各个物体中确定目标物体，并将所述目标物体的位姿信息转换至机器人坐标系中，将所述目标物体转换后的位姿信息传输至机器人，以供机器人根据所述目标物体转换后的位姿信息执行针对所述目标物体的抓取操作。


2.根据权利要求1所述的方法，其中，所述各个物体的分割结果包括：各个物体的二值化分割图像；
所述根据所述场景图像对应的点云以及各个物体的分割结果，确定各个物体对应的点云进一步包括：
针对每个物体，将所述场景图像对应的点云投影至该物体的二值化分割图像中，将所述场景图像对应的点云中投影至所述二值化分割图像的物体区域中的3D点作为该物体对应的3D点，得到该物体对应的点云。


3.根据权利要求1所述的方法，其中，所述针对每个物体，将该物体对应的点云与预设模板点云进行匹配，确定该物体的位姿信息进一步包括：
将该物体对应的点云中各个3D点的位姿信息与预设模板点云中各个3D点的位姿信息进行第一次匹配，得到第一次匹配结果；其中，所述第一次匹配结果包括相匹配的预设模板点云的多个位姿变换关系；
将该物体对应的点云中各个3D点的位姿信息与相匹配的预设模板点云的多个位姿变换关系进行第二次匹配，依据第二次匹配结果中匹配分值最高的相匹配的预设模板点云的位姿变换关系确定该物体的位姿信息。


4.根据权利要求3所述的方法，其中，所述将该物体对应的点云中各个3D点的位姿信息与预设模板点云中各个3D点的位姿信息进行第一次匹配，得到第一次匹配结果进一步包括：
针对该物体对应的点云中任意两个3D点，构建包含有所述两个3D点的点对并生成所述点对的点对向量；
将该物体的各个点对的点对向量与预设模板点云中的各个点对的点对向量进行第一次匹配，得到第一次匹配结果。


5.根据权利要求3所述的方法，其中，所述将该物体对应的点云中各个3D点的位姿信息与相匹配的预设模板点云的多个位姿变换关系进行第二次匹配进一步包括：
利用预设评价算法，计算该物体对应的点云中各个3D点的位姿信息与相匹配的预设模板点云的多个位姿变换关系之间的匹配分值。


6.根据权利要求1-5任一项所述的方法，其中，所述根据各个物体对应的点云，识别物体之间的堆叠关系进一步包括：
将各个物体对应的点云中各个3D点投影至相机所在平面上，得到各个物体对应的投影区域，并计算各个物体与所述平面之间的距离；
判断任意两个物体对应的投影区域是否存在重叠；
若是，则确定所述两个物体之间具有堆叠关系，并根据所述两个物体与所述平面之间的距离确定所述堆叠关系中的被压物体；若否，则确定所述两个物体之间不具有堆叠关系。


7.根据权利要求6所述的方法，其中，所述依据所述堆叠关系，从各个物体中确定目标物体进一步包括：
依据所述堆叠关系，从各个物体中筛除被压物体，并从经筛除处理后的物体中选择距离相机所在平面最近的物体作为目标物体。


8.一种基于3D匹配的物体抓取装置，所述装置包括：
获取模块，适于获取当前场景的场景图像以及所...

【专利技术属性】
技术研发人员：刘迪一，魏海永，盛文波，李辉，段文杰，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：北京;11