【技术实现步骤摘要】
本专利技术涉及物料分类领域，尤其是涉及一种基于rgbd图像的物料分割定位方法。
技术介绍
1、随着工业的发展，自动化生产正在逐渐取代传统的人工操作模式。在自动化生产线上，需要对不同种类、不同形状的物料进行分割与定位，以进行后续的搬运、组装等操作。这对提高生产效率和产品质量都具有重要意义。
2、目前，传统的物料分割与定位系统依赖于单一的传感器，如视觉相机或激光扫描仪等。使用单一传感器难以同时获取目标的图像信息和空间信息，使得系统对不同物料的分割与定位效果不佳。此外，不同行业、不同过程中的物料类型千差万别，需要针对每一类物料开发专用的分割与定位系统，系统移植性差。
3、rgbd图像是一种包含红绿蓝(rgb)颜色和深度(depth)信息的图像。其中，rgb图像是常见的彩色图像，通过红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色；而depth图像则类似于灰度图像，每个像素值表示传感器距离物体的实际距离。rgbd图像将rgb彩色信息和depth深度信息相结合，可以应用于多种计算机视觉和机器人视觉任务中，例如物体识别、场景理解、三维重建等。为实现通用型的物料自动分割与定位系统，需要同时获取目标的图像数据和空间数据，并能够适用于不同类型物料的分割与定位。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于rgbd图像的物料分割定位方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一
4、s1、通过深度相机同时获取rgb图像和深度图像；
5、s2、采用像素差分卷积注意力的rgbd语义分割模型同时对rgb图像与深度图像进行处理，得到分割的rgb图像的目标区域；
6、s3、将分割的rgb图像与深度图像进行配准，将rgb图像中的目标区域映射到深度图像中，以确定目标在深度图像中的区域；
7、s4、利用深度图像与点云间的映射关系，确定目标的点云信息，得到目标的位置、方向信息，实现对目标的定位。
8、进一步地，构建所述像素差分卷积注意力的rgbd语义分割模型的过程包括：将像素差分卷积注意力模块嵌入到基础语义分割模型框架中。
9、进一步地，像素差分卷积注意力模块输出的具体计算步骤如下：
10、计算卷积区域中周围像素与中心像素的差值：δ；
11、将差值取绝对值并取相反数，计算权重：t＝e-|δ|；
12、将所述权重与卷积核对应元素相乘获得差分卷积核：k*＝k×t；
13、差分卷积核对原始图像做卷积得到差分卷积注意力：
14、差分卷积注意力与原始图像对应元素相乘，再相加原始图像对应元素得到像素差分卷积注意力模块的输出：o＝a×f+f。
15、进一步地，像素差分卷积注意力的rgbd语义分割模型包括两个基础语义分割模型：一个用于处理rgb图像；一个用于处理深度图像。
16、进一步地，所述两个基础语义分割模型均为deeplabv3+。
17、进一步地，deeplabv3+包括编码器与解码器，其中，编码器包括四个阶段；所述s2具体包括以下步骤：
18、s21、通过编码器得到rgb图像与深度图像的融合数据特征，具体包括：
19、s211、利用两个像素差分卷积注意力模块分别对rgb图像与深度图像进行阶段一的特征增强提取；
20、s212、将阶段一的特征增强提取相加，得到融合数据特征；
21、s213、重复步骤s211和s212，依次得到阶段二、阶段三、阶段四的融合数据特征；
22、s22、通过解码器将四个阶段的融合数据特征转化为分割的rgb图像的目标区域。
23、进一步地，利用已标定的相机坐标系与世界坐标系的位姿关系，将相机坐标系的坐标信息转换到世界坐标系下。
24、第二方面，本专利技术公开了一种基于rgbd图像的物料分割定位系统，包括图像获取模块、像素差分卷积注意力的rgbd语义分割模型、目标区域与深度图像映射模块以及深度图像定位模块；
25、其中，图像获取模块用于通过深度相机同时获取rgb图像和深度图像；
26、像素差分卷积注意力的rgbd语义分割模型用于同时对rgb图像与深度图像进行处理，得到分割的rgb图像的目标区域；
27、目标区域与深度图像映射模块用于将分割的rgb图像与深度图像进行配准，将rgb图像中的目标区域映射到深度图像中，以确定目标在深度图像中的区域；
28、深度图像定位模块用于利用深度图像与点云间的映射关系，确定目标的点云信息，得到目标的位置、方向信息，实现对目标的定位。
29、第三方面，本专利技术公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法中的步骤。
30、第四方面，本专利技术公开了一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的步骤。
31、与现有技术相比，本专利技术具有以下有益效果：
32、1.本专利技术仅使用深度相机一种传感器获得的rgbd图像，就可以实现物料的分割与定位，无需复杂的多传感器集成，减少了系统的集成复杂度。
33、2.本专利技术通过像素差分卷积注意力模块充分考虑局部数据间的相关性，使得卷积核的权重可以根据输入数据的不同而变化，提高了卷积核的感知能力。
34、3.像素差分卷积注意力模块用在rgb图像上能够捕捉其空间分布特性，用在深度图像上能够捕捉其局部几何一致性，分别增强了两种不同的数据特征。
35、4.像素差分卷积注意力模块可以嵌入现有的任何一种分割网络中，构成rgbd语义分割模型，提高了整个框架的构建效率。
36、5.本专利技术能够精确输出目标的三维空间坐标，为后续机械手动作控制提供依据，增加了系统的可扩展性。
本文档来自技高网...【技术保护点】
1.一种基于RGBD图像的物料分割定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于RGBD图像的物料分割定位方法，其特征在于，构建所述像素差分卷积注意力的RGBD语义分割模型的过程包括：将像素差分卷积注意力模块嵌入到基础语义分割模型框架中。
3.根据权利要求2所述的一种基于RGBD图像的物料分割定位方法，其特征在于，像素差分卷积注意力模块输出的具体计算步骤如下：
4.根据权利要求1所述的一种基于RGBD图像的物料分割定位方法，其特征在于，像素差分卷积注意力的RGBD语义分割模型包括两个基础语义分割模型：一个用于处理RGB图像；一个用于处理深度图像。
5.根据权利要求4所述的一种基于RGBD图像的物料分割定位方法，其特征在于，所述两个基础语义分割模型均为Deeplabv3+。
6.根据权利要求5所述的一种基于RGBD图像的物料分割定位方法，其特征在于，Deeplabv3+包括编码器与解码器，其中，编码器包括四个阶段；所述S2具体包括以下步骤：
7.根据权利要求1所述的一种基于RGBD图像的
8.一种基于RGBD图像的物料分割定位系统，其特征在于，包括图像获取模块、像素差分卷积注意力的RGBD语义分割模型、目标区域与深度图像映射模块以及深度图像定位模块；
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述方法中的步骤。
10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述方法中的步骤。
...【技术特征摘要】
1.一种基于rgbd图像的物料分割定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于rgbd图像的物料分割定位方法，其特征在于，构建所述像素差分卷积注意力的rgbd语义分割模型的过程包括：将像素差分卷积注意力模块嵌入到基础语义分割模型框架中。
3.根据权利要求2所述的一种基于rgbd图像的物料分割定位方法，其特征在于，像素差分卷积注意力模块输出的具体计算步骤如下：
4.根据权利要求1所述的一种基于rgbd图像的物料分割定位方法，其特征在于，像素差分卷积注意力的rgbd语义分割模型包括两个基础语义分割模型：一个用于处理rgb图像；一个用于处理深度图像。
5.根据权利要求4所述的一种基于rgbd图像的物料分割定位方法，其特征在于，所述两个基础语义分割模型均为deeplabv3+。
6.根据权利要求5所述的一种基于rgbd图...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。