【技术实现步骤摘要】
本专利技术涉及物料输送领域，具体涉及一种基于多视角图像的落料堆抑尘方法及系统。
技术介绍
1、智能抑尘技术是一种基于机器学习和图像处理等方法，以减少或消除由工业生产、建筑施工所产生的尘埃及颗粒物扬尘为目的的环保技术。传统的抑尘方法主要通过喷雾抑尘设备喷射干雾对尘土进行抑制。然而，对于铲车在料堆周围进行运作时产生的扬尘，由于铲运位置不固定，传统的喷雾抑尘设备无法根据铲车的铲运位置和堆料大小实时调整抑尘策略，只能根据固定的预设方案进行喷雾，导致即使进行喷雾也无法实现较好的尘土抑制效果，从而影响周围环境的空气质量，甚至对工作人员的健康造成影响。
2、近年来，基于视频对抑尘策略进行控制的研究逐渐受到关注，通过对视频图像的分析和处理，实现对尘土扬尘情况的实时监测和精准控制。然而，基于单一视频画面抑尘控制策略受限于视野，无法准确定位铲车的铲运位置和扬尘范围，从而导致抑尘效果仍不尽人意。
技术实现思路
1、有鉴于此，本专利技术旨在提供一种基于多视角图像的落料堆抑尘方法及系统，旨在解决传统抑尘方法中无法根据铲车行为和堆料大小实时调整抑尘策略进而导致抑尘效果欠佳的问题。
2、本专利技术公开的技术方案如下：
3、一种基于多视角图像的落料堆抑尘方法，包括以下步骤：
4、s1：对多视角视频数据进行预处理得到多视角图像数据，检测不同视角下图像数据中的特征点并匹配成对；
5、s2：构建目标检测模型，识别并跟踪铲车和落料堆；
6、在多视角图
7、s3：结合多视角图像数据，分析铲车的运动轨迹和动作模式，推断铲车意图；
8、构建落料堆特征提取网络和铲车动作模式识别模型，计算铲车运动轨迹和落料堆重要性并推断铲车意图；
9、s4：结合落料堆特征和铲车意图，预测扬尘情况并设定除尘参数；
10、s5：根据除尘参数，控制除尘设备进行除尘。
11、进一步地，所述步骤s1包括以下步骤：
12、s11：设定固定间隔，将多视角视频数据分割成单独的帧，得到多视角图像数据；
13、s12：采用sift算法，在多视角图像数据中检测特征点；
14、s13：对于每个检测到的特征点，计算对应的sift描述子；
15、s14：在多视角图像数据中，利用ransac算法找到对应的特征点对，建立不同视频之间的对应关系。
16、进一步地，所述步骤s2包括以下步骤：
17、s21：构建目标检测模型，在多视角图像数据中识别出铲车和落料堆，计算方式为：
18、detections＝yolov8(image)
19、其中，detections为目标坐标框、置信度以及类别概率，yolov8()为yolov8网络操作，image为多视角图像数据；
20、s22：基于已匹配的特征点对，将多视角图像数据进行几何变换，对齐到同一坐标系中；
21、s23：在多视角图像数据中，利用位置信息对同一铲车和落料堆进行匹配，并分配唯一的识别码，计算方式为：
22、
23、
24、
25、threshold＝meanscore-γ·stddev
26、
27、其中，mi为特征点对匹配性得分，di为特征点对的距离，i为特征点索引，meanscore为平均匹配得分，n为特征点总数，stddev为平均匹配方差，threshold为动态阈值，γ为调节系数，distance为两幅图像中目标框中心点的距离，为第一幅图像中目标框中心点的横坐标，j为目标框索引，为第二幅图像中目标框中心点的横坐标，为第一幅图像中目标框中心点的纵坐标，为第二幅图像中目标框中心点的纵坐标；
28、若distance＜threshold，则认为铲车或落料堆在两个视角中匹配，为此目标分配唯一识别码；
29、若distance≥threshold，则认为铲车或落料堆在两个视角中不匹配，进行下一轮匹配；
30、s24：在各视角的连续帧中，采用匈牙利算法对每个铲车和落料堆的识别码进行跟踪。
31、进一步地，所述步骤s3包括以下步骤：
32、s31：构建落料堆特征提取网络，计算方式为：
33、fu＝cnn(iu)
34、g1＝canny(detectionsmaterial)
35、g2＝vgg(detectionsmaterial)
36、h＝mlp(concat(fu，g1，g2))
37、其中，fu为第u个视角的落料堆特征，u为视角索引，cnn()为卷积神经网络操作，iu为第u个视角的落料堆图像，g1为落料堆边缘特征，canny()为canny边缘检测操作，detectionsmaterial为yolov8输出的多视角落料堆目标框图像，g2为落料堆纹理特征，vgg()为vggnet网络操作，h为落料堆特征，mlp()为多层感知机操作，concat()为拼接操作；
38、s32：构建铲车动作模式识别模型，计算方式为：
39、f′u＝cnn(i′u)
40、zu＝softmax(globalavgpool(f′u))
41、
42、
43、其中，f′u为第u个视角的铲车特征，i′u为第u个视角的铲车图像，zu为第u个视角的注意力得分，softmax()为softmax函数，globalavgpool()为全局平均池化操作，αu为第u个视角的注意力权重，e为自然常数，zv为第v个视角的注意力得分，m为视角总数，ffusion为铲车动作特征；
44、s33：计算铲车运动轨迹和落料堆重要性，操作步骤为：
45、将铲车的运动轨迹表示为时间点的坐标序列，计算方式为：
46、t＝{(p1，q1)，(p2，q2)，...，(pt，qt)}
47、其中，t为时间点的坐标序列，(p1，q1)为铲车在第一时刻的横、纵坐标，(p2，q2)为铲车在第二时刻的横、纵坐标，(pt，qt)为铲车在第t时刻的横、纵坐标，t为时刻索引；
48、计算在每个时间点铲车到每个落料堆的距离，并选择距离最近的落料堆作为关联的落料堆；
49、对于每个落料堆，统计其被铲车关联的次数，并按照关联次数对落料堆进行排序，关联次数最多的落料堆为对该铲车最重要的落料堆，计算方式为：
50、
51、其中，ck为第k个落料堆被铲车关联的次数，k为落料堆索引，δ(t，k)为指示函数，δt为观察时间段；
52、s34：根据落料堆特征、铲车的运动轨迹和动作模式，推断铲车的意图，计算方式为：
53、本文档来自技高网...
【技术保护点】
1.一种基于多视角图像的落料堆抑尘方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求2所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤S2包括以下步骤：
4.根据权利要求3所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤S3包括以下步骤：
5.根据权利要求4所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤S4包括以下步骤：
6.根据权利要求5所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤S5包括以下步骤：
7.一种基于多视角图像的落料堆抑尘系统，其特征在于，包括：
【技术特征摘要】
1.一种基于多视角图像的落料堆抑尘方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求2所述的基于多视角图像的落料堆抑尘方法，其特征在于，所述步骤s2包括以下步骤：
4.根据权利要求3所述的基于多视角图像的落料...
【专利技术属性】
技术研发人员：李少良，雷晨曦，方针，张青平，刘学，李昕，刘超，
申请(专利权)人：岳阳城陵矶港务有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。