机器人抓取数据集的构建方法及其构建装置和存储介质制造方法及图纸

本申请公开了一种机器人抓取数据集的构建方法及其构建装置和存储介质。机器人抓取数据集的构建方法包括步骤：获取目标物体在不同角度下的深度图像和彩色图像；根据多个不同角度下的深度图像得到目标物体的初始三维模型；将初始三维模型与多个彩色图像对齐以生成带有颜色信息的目标三维模型；计算目标三维模型表面各个抓取点的抓取质量以定义目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。如此，构建的抓取数据集中包含的信息较为全面，以便用于机器人的深度学习神经网络模型的抓取训练。网络模型的抓取训练。网络模型的抓取训练。

【技术实现步骤摘要】
机器人抓取数据集的构建方法及其构建装置和存储介质


[0001]本申请涉及机器人抓取数据集构建
，更具体而言，特别涉及一种机器人抓取数据集的构建方法及其构建装置和存储介质。

技术介绍

[0002]目前，随着计算机视觉和人工智能的发展，机器人技术受到越来越多的关注。在相关技术中，机器人通常通过在深度学习和卷积神经网络模型中输入数据集来对机器人进行目标物体抓取训练，如何构建较为全面的抓取数据集以用于机器人的深度学习和卷积神经网络模型的训练成为了技术人员研究的技术问题。

技术实现思路

[0003]本申请实施方式提供一种机器人抓取数据集的构建方法机器构建装置和存储介质。
[0004]本申请实施方式的机器人抓取数据集的构建方法包括：
[0005]获取目标物体在不同角度下的深度图像和彩色图像；
[0006]根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型；
[0007]将所述初始三维模型与多个所述彩色图像对齐以生成带有颜色信息的目标三维模型；
[0008]计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。
[0009]本申请实施方式的机器人的机器人抓取数据集的构建装置包括：
[0010]获取模块，用于获取目标物体在不同角度下的深度图像和彩色图像；
[0011]建立模块，用于根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型；
[0012]对齐模块，用于将所述初始三维模型与多个所述彩色图像对齐以生成带有颜色信息的目标三维模型；
[0013]第一计算模块，用于计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。
[0014]本申请实施方式的计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式的机器人抓取数据集的构建方法。
[0015]本申请实施方式的机器人抓取数据集的构建方法及其构建装置和存储介质中，可获取目标物体在不同角度下的深度图像和彩色图像，然后根据多个不同角度下的深度图像得到目标物体初始三维模型，并且将初始三维模型与彩色图像对齐以生成带有颜色信息的目标三维模型；然后计算目标三维模型表面各个抓取点的抓取质量以定义物体表面各个点
的抓取鲁棒性以得到各个抓取点的鲁棒性标签。如此，可自动生成机器人的抓取数据集，构建的抓取数据集中包含了物体的带有颜色信息的三维模型(即目标三维模型)、物体的深度信息、物体的颜色信息以及物体表面各点的抓取鲁棒性标签，其包含的信息较为全面，以便用于机器人的深度学习神经网络模型的抓取训练。。
[0016]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0017]本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0018]图1是本申请实施方式的机器人抓取数据集的构建方法的流程示意图；
[0019]图2是本申请实施方式的机器人抓取数据集的构建装置的模块示意图；
[0020]图3是本申请实施方式的平台装置的结构示意图；
[0021]图4是本申请实施方式的机器人抓取数据集的构建方法的另一流程示意图；
[0022]图5是本申请实施方式的机器人抓取数据集的构建装置的另一模块示意图；
[0023]图6是本申请实施方式的机器人抓取数据集的构建方法的又一流程示意图；
[0024]图7是本申请实施方式的生成单元的模块示意图；
[0025]图8是本申请实施方式的机器人抓取数据集的构建方法的再一流程示意图；
[0026]图9是本申请实施方式的机器人抓取数据集的构建方法的再一流程示意图；
[0027]图10是本申请实施方式的机器人抓取数据集的构建装置的另一模块示意图；
[0028]图11是本申请实施方式的目标物体的颜色块的示意图；
[0029]图12是本申请实施方式的机器人抓取数据集的构建方法的再一流程示意图；
[0030]图13是本申请实施方式的机器人抓取数据集的构建装置的另一模块示意图；
[0031]图14是本申请实施方式的机器人抓取数据集的构建方法的再一流程示意图；
[0032]图15是本申请实施方式的抓取数据集的数据存储结构示意图。
[0033]主要元件符号说明：
[0034]构建装置100、获取模块10、建立模块20、坐标转换单元21、去噪单元22、生成单元23、采样单元231、第一拼接单元232、拟合单元233、对齐模块30、裁剪单元31、第二拼接单元32、对齐单元33、第一计算机模块40、转换模块50、第二计算模块60、组合模块70、选取模块80、平台装置200、旋转台201、深度相机202、挡板203、目标物体300、颜色块301。
具体实施方式
[0035]下面详细描述本申请的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
[0036]请参阅图1，本申请实施方式的机器人抓取数据集的构建方法包括步骤：
[0037]S10：获取目标物体300在不同角度下的深度图像和彩色图像；
[0038]S20：根据多个不同角度下的深度图像得到目标物体300的初始三维模型；
[0039]S30：将初始三维模型与多个彩色图像对齐以生成带有颜色信息的目标三维模型；
[0040]S40：计算目标三维模型表面各个抓取点的抓取质量以定义目标物体300表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。
[0041]请参阅图2，本申请实施方式的机器人抓取数据集的构建装置100包括获取模块10、建立模块20、对齐模块30和第一计算模块40。步骤S10可由获取模块10实现，步骤S20可由建立模块20实现，步骤S30可由对齐模块30实现，步骤S40可由第一计算模块40实现。
[0042]也即是说，获取模块10可用于获取目标物体300在不同角度下的深度图像和彩色图像，建立模块20可用于根据多个不同角度下的所述深度图像得到所述目标物体300的初始三维模型，对齐模块30可用于将所述初始三维模型与多个所述彩色图像对齐以生成带有颜色信息的目标三维模型，第一计算模块40可用于计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体300表面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人抓取数据集的构建方法，其特征在于，包括：获取目标物体在不同角度下的深度图像和彩色图像；根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型；将所述初始三维模型与多个所述彩色图像对齐以生成带有颜色信息的目标三维模型；计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。2.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，多个不同角度的所述深度图像由深度相机进行采集，所述根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型，包括：通过坐标变换将基于深度相机坐标系获取的多个所述深度图像转换成在目标物体坐标系下的多个点云信息；去除所述多个点云信息中的环境干扰信息以得到不同角度下的所述目标物体的多个有效点云信息；基于所述多个有效点云信息生成所述目标物体的初始三维模型。3.根据权利要求2所述的机器人抓取数据集的构建方法，其特征在于，所述基于多个所述有效点云信息生成所述目标物体的三维模型，包括：对所述多个有效点云信息进行下采样以得到多个关键点；通过对不同角度下的所述目标物体的多个所述关键点的拼接以实现所述目标物体的点云信息的补全；对补全后的所述目标物体的点云信息进行聚类与平面拟合，从而实现所述目标物体的三维重建以得到所述目标物体的初始三维模型；或者所述基于多个所述有效点云信息生成所述目标物体的三维模型，包括：对所述多个有效点云信息进行拼接以实现所述目标物体的点云信息的补全；多补全后的点云信息进行下采样以得到多个关键点；对多个所述关键点进行聚类与平面拟合，从而实现所述目标物体的三维重建以得到所述目标物体的初始三维模型。4.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，所述将所述初始三维模型与所述彩色图像对齐以生成带有颜色信息的目标三维模型，包括：对多个所述彩色图像进行裁剪以去除环境干扰信息从而得到所述目标物体的多个颜色块；基于多个所述颜色块，通过对不同角度下的所述颜色块进行拼接以实现所述目标物体的色彩补全且对多个所述颜色块进行边缘滤波以去除拼接时的噪声项；将拼接后的多个颜色块与所述初始三维模型对齐以生成带有颜色信息的目标三维模型。5.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，所述机器人抓取数据集的构建方法还包括：将多个所述彩色图像均转换为1*hw的一维向量；其中，h图像高，w是图像宽；将多个所述彩色图像转换成的多个所述一维向量组合成矩阵M；
计算矩阵M的协方差矩阵S以及所述协方差矩阵S的特征向量ν
i
与特征值λ
i
；对特征值λ
i
按照大小进行递减排序，将特征向量ν
i
按照特征值的大小进行组合形成映射矩阵；选取所述特征值最大的前K个所述特征向量以此描述所述目标物体的颜色信息的特征；其中，K为大于零的正整数。6.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，所述计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，包括：随机选择所述目标物体上的点且随机生成与该点对应的有向向量，获取所述有向向量与所述目标物体的表面的交叉点，作为模拟抓取点；通过对跖的方式在所述目标物体的表面获取所述交叉点的对跖点，用所述交叉点及其对跖点描述单个二指夹爪的抓取位姿；根据所述抓取位姿的力封闭特性、形封闭特性以及姿态误差常量得到所述目标物体表面各个抓取点的抓取质量，以定义所述目标物体表面各个...

【专利技术属性】
技术研发人员：陈金亮，陈相羽，刘旭东，何旭，
申请(专利权)人：深圳鹏行智能研究有限公司，
类型：发明
国别省市：