【技术实现步骤摘要】
本专利技术属于计算机视觉和机器人，涉及一种基于bev的多传感器融合废钢料堆特征提取方法。
技术介绍
1、在智能无人工业自动化领域，工业自动化技术的发展依赖于计算机视觉和传感器融合技术。激光雷达提供高精度的三维点云数据，摄像头捕捉环境的二维图像，这些数据通过融合可以提供丰富的环境信息。然而，传统的算法在处理这类多源数据时，面临着数据不对齐、感知结果不稳定、特征提取不充分等问题。此外，在许多工业场景中，处理对象的复杂性也会为算法带来不稳定性。例如，在废钢料场中，环境复杂多变，钢料的形状、大小、位置及遮挡情况多样，会给自动抓取任务带来巨大挑战。
2、目前智能无人废钢厂中的感知任务面临的问题主要包括以下几个方面。数据融合困难，多传感器数据的融合需要处理不同类型数据(点云和图像)的对齐与同步，这在复杂环境中尤为困难；识别精度低，环境的动态变化、钢料的多样性以及遮挡等因素使得传统的感知与识别算法难以保证高精度和高鲁棒性；环境适应性差，废钢料场的环境复杂多变，传统算法在不同环境条件下的适应性较差，难以满足实际应用需求。
3、现有数据融合方法：在废钢料堆的实际场景中，感知任务中激光雷达点云和图像数据通常分别进行处理，然后再进行简单的融合。这种处理方式容易导致数据不对齐，因为点云和图像的数据来自不同的视角和传感器。数据不对齐会导致融合后的信息不准确，影响废钢的识别和抓取操作。
4、现有特征提取方法：在废钢料堆场景中，传统方法在特征提取和融合时，往往依赖于简单的卷积神经网络(cnn)或传统的特征融合方法。这些方法
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于bev的多传感器融合废钢料堆特征提取方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于bev的多传感器融合废钢料堆特征提取方法，该方法包括以下步骤：
4、数据预处理，包括：
5、从激光雷达传感器获取废钢料堆的三维点云数据，并进行统计滤波和体素滤波，去除噪声并保留废钢料堆的参数信息；
6、从摄像头获取废钢料堆的二维图像数据，并进行畸变校正和颜色增强，提高图像质量和信息量；
7、视角转换，包括：
8、将预处理后的点云数据投影到二维平面上，形成bev视角，获得废钢料堆在地面的分布情况；
9、利用相机内参矩阵和外参矩阵，将图像数据从图像坐标系转换到世界坐标系，并映射到bev视角；
10、多传感器数据特征提取，包括：
11、使用pointnet网络提取点云数据特征，获得每个点的特征表示；
12、使用改进的resnet网络提取图像数据特征，通过调整卷积核尺寸、增加卷积层数等手段，更好地捕捉废钢料堆图像的细节和特征；
13、特征对齐融合，包括：
14、设置统一的bev queries，用于在bev空间上进行特征对齐；
15、通过deformable attention机制，为每个查询点学习一个偏移量，调整查询点位置；
16、使用多头注意力机制进行特征融合，生成融合后的bev特征，更好地捕捉废钢料堆场景中的复杂信息，从而实现废钢料堆的识别、分类和定位。
17、进一步，所述改进的resnet网络包括：
18、输入层：输入图像数据i大小为h×w×3，其中h,w为图像的height和width，表示像素，3表示图像的三个颜色通道；
19、初始卷积层：将初始卷积层的卷积核尺寸从7×7调整为3×3，以捕捉细节；增加初始卷积层的数量，以提取低层次特征：
20、f0＝conv3×3,64,s＝1(i)
21、其中f0表示使用3×3的卷积核，输出通道数为64，步长为1输入图像经过第一层卷积操作后得到的特征图
22、批量归一化和激活函数：对卷积输出进行批量归一化和relu激活；公式如下：
23、f1＝relu(bn(f0))
24、其中bn表示批量归一化，relu为激活函数，公式分别为：
25、relu(x)＝max(0,x)
26、
27、其中，μb是f0的均值；是f0的方差；ò是一个小常数，防止除以零；γ，β是可训练的参数；
28、最大池化层：使用一个3×3的最大池化层，步幅为2，减小特征图尺寸，表示为：
29、
30、其中，f2(i,j,k)表示输出特征图f2在第(i,j)位置和第k通道的值，f1(2i+m,2j+n,k)表示输入特征图f1在相应位置和通道的值；m和n是局部窗口的偏移量，m,n∈{0,1,2}；
31、残差块：在resnet中，残差块是一个重要的组成部分；输入特征图为f2，经过残差块后的输出特征图为fimg，残差块由两个卷积层和一个跳跃连接组成；具体过程为：
32、第一层卷积：
33、fconv1＝relu(bn(conv3×3,c,s＝1(f2)))
34、其中c表示输入数据的通道数，s表示步长：
35、第二层卷积：
36、fconv2＝bn(conv3×3,c,s＝1(fconv1))
37、跳跃连接：
38、fimg＝f2+fconv2
39、即得到图像特征fimg。
40、进一步，所述deformable attention机制包括以下步骤：
41、设置统一的bev queries，用于在bev空间上进行特征对齐；
42、通过deformable attention机制，为每个查询点学习一个偏移量，调整查询点位置；
43、使用多头注意力机制进行特征融合，生成融合后的bev特征。
44、进一步，所述多传感器数据特征提取替换为inception网络或densenet模型的特征提取方法。
45、进一步，所述使用多头注意力机制进行特征融合替换为使用卷积融合或图卷积网络gcn进行特征融合。
46、本专利技术的有益效果在于：
47、(1)对于数据融合问题，在废钢料堆这样的复杂环境中，物体和场景的空间关系非常重要。bev视角能够清晰地展现这些关系，有助于更准确地识别和分类不同的物体，提升整体的感知能力。本方案通过将点云和图像数据转换到相同的bev鸟瞰视角，提供了一个统一的参照框架。这样，来自不同传感器的数据可以在同一坐标系下进行比较和融合，有效解决了数据不对齐的问题。
48、(2)对于精度问题，现有技术在特征提取和融合时，往往依赖于简单的卷积神经网络(cnn)或传统的特征融合方法，导致对钢料识别和分类的精度有限。这些方法无法充分挖掘多源数据中的细腻特征，难以满足高精度要求。基于be本文档来自技高网...
【技术保护点】
1.一种基于BEV的多传感器融合废钢料堆特征提取方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于BEV的多传感器融合废钢料堆特征提取方法，其特征在于：所述改进的ResNet网络包括：
3.根据权利要求1所述的一种基于BEV的多传感器融合废钢料堆特征提取方法，其特征在于：所述Deformable Attention机制包括以下步骤：
4.根据权利要求1所述的一种基于BEV的多传感器融合废钢料堆特征提取方法，其特征在于：所述多传感器数据特征提取替换为Inception网络或DenseNet模型的特征提取方法。
5.根据权利要求1所述的一种基于BEV的多传感器融合废钢料堆特征提取方法，其特征在于：所述使用多头注意力机制进行特征融合替换为使用卷积融合或图卷积网络GCN进行特征融合。
【技术特征摘要】
1.一种基于bev的多传感器融合废钢料堆特征提取方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于bev的多传感器融合废钢料堆特征提取方法，其特征在于：所述改进的resnet网络包括：
3.根据权利要求1所述的一种基于bev的多传感器融合废钢料堆特征提取方法，其特征在于：所述deformable attention机制包括以下步骤...
【专利技术属性】
技术研发人员：童建林，林启勇，何立，陈开，
申请(专利权)人：中冶赛迪技术研究中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。