本发明专利技术公开了一种复杂作业环境下无人驾驶工程车辆的货物检测方法，涉及到车辆视觉感知领域，其步骤包括：S1采集复杂作业环境下物流货物的图像数据并进行标注和预处理，构建物流货物图像数据集；S2搭建骨干网络，提取图像的语义信息，使其生成多尺度的图像特征；S3搭建头部网络，基于上采样模块将来自骨干网络的多尺度特征进行融合，通过多个检测头生成图像中各个货物的检测结果；S4采用搭建的网络模型对所构建的物流货物图像数据集进行训练，并在实际复杂作业环境中进行检验。本发明专利技术能实现工程车辆在复杂作业环境下检测物流货物的种类与坐标，从而为自动作业与自动驾驶奠定基础。
【技术实现步骤摘要】
本专利技术属于目标检测与车辆视觉感知，具体的说是一种复杂作业环境下无人驾驶工程车辆的货物检测方法。
技术介绍
1、车辆视觉感知领域中的目标检测是一个重要的研究方向，在物流车自动作业、无人驾驶等方面具有非常广泛的应用前景。近年来，深度学习尤其是卷积神经网络的发展极大推动了目标检测技术的进步。深度学习模型能够通过参数的反向传播自动学习相关特征并进行复杂的模式识别，比传统的基于手工特征的目标检测方法（如haar特征、hog）更为准确和高效。尽管技术进步显著，车辆视觉感知中的目标检测仍面临诸多挑战。例如，环境条件的变化（如光照、天气变化）、不同的目标类型和位姿、目标的遮挡和重叠等，都对检测精度提出了更高的要求。
2、现有的深度学习为基的目标检测研究，通常分为两阶段目标检测方向(如r-cnn系列)与单阶段目标检测方向(如yolo系列)。然而，在车辆视觉感知领域，许多常规的目标检测算法存在一些不足之处：首先，对光照与天气变化缺乏鲁棒性，车辆在不同的驾驶条件下，环境的变化可能会影响图像质量，从而影响检测精度；其次，对遮挡或重叠目标的检测精度较低；最后，车辆视觉系统需要实时处理大量图像数据，并快速做出反应。许多常规目标检测算法在处理速度上可能无法满足实时性的要求。
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种复杂作业环境下无人驾驶工程车辆的货物检测方法，以期能提高目标检测的鲁棒性、精度与速度，从而能实现在复杂作业环境下无人驾驶工程车辆的货物检测。
<
p>2、本专利技术为达到上述专利技术目的，采用如下技术方案：3、本专利技术一种复杂作业环境下无人驾驶工程车辆的货物检测方法的特点也在于，包括如下步骤：
4、步骤1、采集复杂作业环境下物流货物图像并进行预处理后，得到复杂作业环境下的物流货物图像数据集，其中，si表示第i张物流货物图像，且每张物流货物图像的尺寸为h×w×c，h为物流货物图像的高度，w为物流货物图像的宽度，c为物流货物图像的通道数，ns为物流货物图像的总数；
5、令si中个货物检测锚框的真实标注信息记为，并包括：位置标签集合和类别标签集合，其中，为第a个货物检测锚框的位置标签，且=(,,,)，(,)表示第a个货物检测锚框的中心点像素的坐标；与分别为第a个货物检测锚框的高度与宽度；表示第a个货物检测锚框的类别标签；
6、步骤2、搭建骨干网络，并对si进行语义信息的提取，生成多尺度多通道的图像特征；
7、步骤2.1、所述骨干网络由c1个cbs3×3模块、c2个多尺度特征提取模块与一个金字塔池化sppf模块构成；
8、步骤2.2、所述cbs3×3模块依次由一个核为3×3的卷积层conv2d、一个批归一化层与silu激活函数构成；
9、si依次经过c1个cbs3×3模块的处理后，输出货物图像的单尺度特征图fi；
10、步骤2.3、所述多尺度特征提取模块依次由一个cbs3×3模块与一个ca- c2f模块构成；
11、fi依次经过c2个多尺度特征提取模块的处理后，每个多尺度特征提取模块输出自身的多尺度特征图，其中，表示fi经过第j个特征提取模块输出的特征图，的尺寸为，且；其中，为的高度，为的宽度，为的通道数，为fi经过第j-1个特征提取模块输出的特征图的高度，为的宽度，为的通道数；
12、步骤2.4、所述金字塔池化sppf模块依次由一个cbs3×3模块、三个最大池化层、一个拼接层与一个控制输出通道数的cbs1×1模块构成，并对进行处理后，得到多尺度融合初始特征为，的尺寸为，且与的尺寸一致，其中，为的高度，为的宽度，为的通道数；
13、步骤3、搭建头部网络，并用于对和进行处理，得到si中各个货物的检测结果；
14、步骤3.1、所述头部网络依次由个特征融合模块与个检测头构成；
15、步骤3.2、当k=1时，将输入第k个特征融合模块中进行处理，得到尺寸为的第k个多尺度融合特征；其中，表示的高度，表示的高度，表示的通道数；
16、步骤3.3、c2个检测头分别对sppf模块的输出与个多尺度融合特征进行处理，相应输出预测的检测框分类结果与检测框位置结果，其中，表示第k个检测头输出的检测框分类结果，表示第k个检测头输出的检测框位置结果；
17、基于和，并采用改进交叉熵损失vfl loss来构建分类损失；
18、基于和，并采用复合交并比损失ciou loss与分布焦距损失dfl loss来构建回归损失；
19、将分类损失和回归损失加权求和后，得到总损失函数loss；
20、步骤4、利用梯度下降法对由骨干网络和头部网络组成的网络进行训练，并计算总损失函数loss以更新网络参数，直到总损失函数loss收敛为止，从而得到训练后的货物检测模型，用于对复杂作业环境下所采集的物流图像进行货物检测。
21、本专利技术所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法的特点也在于，所述步骤2.3包括如下步骤：
22、步骤2.3.1、当j=1时，fi输入第j个多尺度特征提取模块中的cbs3×3模块进行处理，输出初步特征图，的尺寸为，其中，为的高度，为的宽度，为的通道数；
23、步骤2.3.2、所述ca- c2f模块对进行处理后，得到多尺度特征图。
24、进一步的，所述步骤2.3.2中的ca- c2f模块依次由一个通道注意力模块、c3个残差连接的cbs3×3模块、一个负责控制输出维度的cbs1×1模块构成；
25、步骤2.3.2.1、当j=1时，输入第j个多尺度特征提取模块中ca- c2f模块中，并将分为个子特征<mstyle displaystyle="true" mathcolor="#000000"><mover accent="true"><mi>f</mi><mo>˜</mo></mover><munderover><mi /><mi>i</mi><mi>j</mi></munderover><mi>[</mi><mi>1</mi><mi>]</mi></mstyle>，<mstyle displaystyle="true" mathcolor="#000000"><mover accent="true"><mi>f</mi><mo>˜</mo></mover><munderover><mi /><mi>i</mi><mi>j</mi></munde本文档来自技高网
...
【技术保护点】
1.一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤2.3包括如下步骤：
3.根据权利要求2所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤2.3.2中的CA- C2F模块依次由一个通道注意力模块、c3个残差连接的CBS3×3模块、一个负责控制输出维度的CBS1×1模块构成；
4.根据权利要求3所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤3.2包括如下步骤：
5.根据权利要求4所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤3.2.2中的第k个基于空间注意力的上采样模块SA- UpSamp依次由第k个CBS3×3模块，第k个空间注意力拼接模块组成；
6.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-5中任一所述货物检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
7.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-5中任一所述货物检测方法的步骤。
...
【技术特征摘要】
1.一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤2.3包括如下步骤：
3.根据权利要求2所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤2.3.2中的ca- c2f模块依次由一个通道注意力模块、c3个残差连接的cbs3×3模块、一个负责控制输出维度的cbs1×1模块构成；
4.根据权利要求3所述的一种复杂作业环境下无人驾驶工程车辆的货物检测方法，其特征在于，所述步骤3.2包括如下步骤：
...
【专利技术属性】
技术研发人员：龙建成，王名仲，夏光，邱子涵，周建坤，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。