【技术实现步骤摘要】
本专利技术涉及机器人，尤其涉及一种基于去噪扩散模型的物品抓取方法。
技术介绍
1、近年来，随着科技的进步和社会的发展，机器人技术在自主感知与人机交互方面迅速发展，并广泛地应用到各种工业场景中，例如机器人技术常被用于实现自动装配流水线中的零件抓取，提升工厂流水化作业的效率。具体来说，就是使用机械臂结合rgbd相机，利用场景的点云数据实现不同环境下的自主感知，实现不同场景的物品零件抓取。rgbd即rgb（red、 green、blue）图像，色彩模式加上一个depth map（深度图），rgbd结合了颜色信息和深度信息，用于提供三维数据。利用rgbd相机（深度相机），可以实时地获取场景的点云数据，从而知晓该位置的抓取深度，这对于机器人抓取的任务是非常方便的。但是由于非高端的rgbd相机在成像方面存在一定的精度问题，由于噪声的影响，点云会存在少量的离群点或者随机的空洞，导致使用这种残缺点云进行处理对后续的六自由度抓取姿势的生成具有很大的影响，需要设计一种高效的方法，能够克服点云数据在这面的缺陷并且能够基于存在有缺陷的点云生成合适的抓取姿势使得机械臂能够成功抓取该场景下的物品。
2、《一种基于深度学习的机械臂抓取方法》（申请号cn202311215718.5）以rgb图像和深度图像作为输入，首先利用rgb图像设计一个带旋转角度的目标物体检测的算法，从rgb图像中获取待抓取物品相对于当前相机姿态的旋转角度以及在相机视角下的位置，从深度图像中获取待抓取物品的抓取深度，得到当前物品的抓取姿势。在这种方法中，抓取姿态被限制为了机械臂
3、《一种机械臂六自由度抓取位姿估计方法和装置》（申请号cn202210513187.x）直接利用带人工标注残缺的点云，设计了一种编码器-解码器的结构。首先利用神经网络编码器对点云的特征进行提取，在解码器的部分，利用一个全连接的神经网络将编码器提取到的特征映射到一个合适的六自由的抓取姿态，这种方法很好地缓解了专利《一种基于深度学习的机械臂抓取方法》中存在的堆叠场景下的物品抓取问题。但是这种方法极大地依赖传感器生成的点云质量，当点云中存在较大的噪声以及空洞的时候，这种方法变得非常不稳定。面对未知物品的场景时，抓取的准确率会受到极大的影响。
4、可见，现有技术基于存在缺陷的点云的六自由度抓取及针对未知物品抓取姿态的多样，在低质量rgbd相机的应用场景下，由于点云的不完整性导致抓取姿态生成质量低下。
5、因此，本领域的技术人员致力于开发一种基于去噪扩散模型的物品抓取方法。
技术实现思路
1、有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是在点云数据缺失和存在噪声等不稳定因素场景下，如何提高抓取姿势的准确性和稳定性。
2、专利技术人基于去噪扩散模型的抓取的算法，针对残缺的点云以及存在噪声的点云进行补全得到较为完整的点云，并在完整点云的基础上实现用于平行夹爪的六自由度多样性抓取姿势的生成。为了便于描述，本说明书中场景是指物品抓取场景。
3、本专利技术的一个实施例中，提供了一种基于去噪扩散模型的物品抓取方法，包括：
4、s100、场景点云数据处理，获取场景点云数据并进行处理，得到场景特征向量；
5、s200、正向过程的加噪网络训练，在去噪扩散模型的正向过程中对场景特征向量进行多步高斯加噪，得到加噪后的特征分布；
6、s300、点云数据补全，利用去噪扩散模型的逆向过程对高斯噪声进行逐步去噪，得到补全后的点云数据；
7、s400、物体抓取模拟，仿真抓取场景，计算成功抓取的位置和成功概率，并计算得到抓取热图；
8、s500、特征聚合，对抓取热图进行特征提取，将得到的抓取热图向量和位置特征叠加进行特征聚合；
9、s600、聚合特征加噪，将聚合后的特征输入去噪扩散模型，在去噪扩散模型的正向过程对聚合特征进行加噪，得到物品抓取特征加噪后的特征向量；
10、s700、特征热图抓取，使用去噪扩散模型的逆向过程得到补全后的点云数据对应的抓取特征热图；
11、s800、最终抓取姿态矩阵计算，基于抓取特征热图，利用几何方法计算抓取姿态矩阵，并进行姿态的筛选。
12、可选地，在上述实施例中的基于去噪扩散模型的物品抓取方法中，步骤s100包括：
13、s110、场景点云数据获取，获取rgb图像和深度图像并进行处理，得到场景点云数据；
14、s120、场景点云数据预处理，对获取到的场景点云数据进行预处理，得到去噪扩散模型的输入数据；
15、s130、点云数据特征提取，对上述输入数据进行特征提取，得到中间层的特征向量。
16、可选地，在上述实施例中的基于去噪扩散模型的物品抓取方法中，步骤s110包括：
17、s111、获取rgb图像和深度图像，使用rgbd相机在指定的场景下对标定板进行拍摄，获取rgb图像和深度图像；
18、s112、提取角点的位置，利用opencv库中conerharris函数提取rgb图像和深度图像中角点的位置；
19、s113、对齐rgb图像与深度图像，使用surf算法使rgb图像中的角点对应到深度图中的角点，从而将rgb图像与深度图像进行对齐；
20、s114、场景点云数据，利用rgbd相机的内参系数将对齐后的图像转换为点云xyz格式，得到场景点云数据。
21、进一步地，在上述实施例中的基于去噪扩散模型的物品抓取方法中，步骤s114将对齐后的图像转换为点云xyz格式采用的计算方法如下：
22、
23、其中是场景在点云中的坐标值，是rgbd相机的内参，表示rgbd相机沿x轴的焦距，表示rgbd相机沿y轴的焦距，表示图像沿x轴的中心的偏移距离，表示图像沿y轴的中心的偏移距离，是rgb图像中对应的坐标值，d为深度转换的比率，为常数，从rgbd相机的产品说明书中获取。
24、可选地，在上述任一实施例中的基于去噪扩散模型的物品抓取方法中，rgbd相机可以替换为realsense相机或者kinect相机。
25、可选地，在上述任一实施例中的基于去噪扩散模型的物品抓取方法中，步骤s120包括：
26、s121、点云数据归一化，包括点云数据位移、点云数据旋转；
27、s122、得到场景的点云数据，在经过归一化得到的点云数据为，其中表示场景下的物品个数，表示一个完整的物品点云包含的单个点的数量，表示一个点由三个坐标组成。
28、可选地，在上述任一实施例中的基于去噪扩散模型的物品抓取方法中，步骤s130使用pointnet++网络对点云数据特征进行提取，得到的特征向量为，其中，为一次特征编码的物品个数，为编码特征的维度。
29、可选地，在上述任一实施例中的基于去噪扩本文档来自技高网...
【技术保护点】
1.一种基于去噪扩散模型的物品抓取方法，其特征在于，包括：
2.如权利要求1所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S100包括：
3.如权利要求2所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S120包括：
4.如权利要求2所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S200包括：
5.如权利要求4所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S300包括：
6.如权利要求5所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S400包括：
7.如权利要求6所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S500包括：
8.如权利要求7所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S600还包括计算去噪后的特征向量与加入的随机高斯噪声的KL散度误差，训练去噪扩散模型。
9.如权利要求8所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤S700包括：
10.如权利要求5所述的基于去噪
...【技术特征摘要】
1.一种基于去噪扩散模型的物品抓取方法，其特征在于，包括：
2.如权利要求1所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤s100包括：
3.如权利要求2所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤s120包括：
4.如权利要求2所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤s200包括：
5.如权利要求4所述的基于去噪扩散模型的物品抓取方法，其特征在于，所述步骤s300包括：
6.如权利要求5所述的基于去噪扩散模型的物品抓...
【专利技术属性】
技术研发人员：张涛，谢红军，张克勤，褚健，杨根科，
申请(专利权)人：上海交通大学宁波人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。