【技术实现步骤摘要】
本专利技术涉及图像识别及预测，特别是指一种基于遮挡感知下堆积矿岩颗粒的模态实例分割方法及装置。
技术介绍
1、在矿业工程及相关工程领域中，堆积下的矿岩颗粒体系随处可见。这些矿岩颗粒对其的流动、运输、分离和浮选起着至关重要的作用。此外，其几何参数直接影响着矿石破碎和二次破碎等爆破过程中所选用的爆破参数。因此，矿岩颗粒的智能识别和几何特征检测在优化工程流程、提高生产效率以及改善矿石处理过程等工程方面具有十分重要的意义。
2、传统上，矿岩颗粒的几何检测方法是随机选取测试样本进行人工或者机器筛分试验。尽管人工测量方法可能具有较高的精度，但效率低且成本高昂。随着计算机视觉技术的快速发展，基于图像分割技术的颗粒识别方法涵盖了多种方法，包括阈值分割法、分水岭算法、区域生长法、边缘检测法、机器学习法以及深度学习法。然而，工程现场的矿岩颗粒具有复杂的赋存条件，并受到设备限制，导致通过摄像机拍摄的图像质量往往不佳，这导致现有的传统算法和机器学习方法存在一定的挑战，容易出现过分割和欠分割问题。另外，其难以实现大规模的自动化、批量化处理进而导致整体识别及几何检测效率较低。相较之下，深度学习法中的实例分割在矿岩颗粒识别领域展现出的良好性能，既可以识别不同种类、不同个体之间的矿岩颗粒，又可以分割出每个矿岩颗粒进而提取其相关几何尺寸。
3、由于矿岩颗粒具有多样的颜色和纹理等特征，并且在堆积状态下矿岩颗粒之间往往相互遮挡，这将导致神经网络面临着巨大的挑战，不仅在识别矿岩颗粒过程中精度始终不高，且无法准确处理遮挡部分，进而降低了识别后对参
技术实现思路
1、为了解决现有技术存在的在遮挡感知下完整识别堆积矿岩颗粒的研究较少，且存在研究不充分、不深入等问题，难以满足准确、高效、完整地识别和预测矿岩颗粒的要求的技术问题，本专利技术实施例提供了一种基于遮挡感知下堆积矿岩颗粒的模态实例分割方法及装置。所述技术方案如下：
2、一方面，提供了一种基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，该方法由基于遮挡感知下堆积矿岩颗粒的模态实例分割设备实现，该方法包括：
3、s1、搭建不同堆积状态下的矿岩颗粒堆积模型，通过矿岩颗粒堆积模型获取原始图像数据库；
4、s2、对原始图像数据库进行图像数据处理，获得处理后图像数据；
5、s3、依托pytorch框架搭建agg-mask2former网络；定义多任务损失函数对agg-mask2former网络训练过程进行优化；
6、s4、将处理后图像数据划分为多类子训练集；通过多类子训练集训练agg-mask2former网络获得最优模型；通过交叉验证实验获得不同遮挡状态下模型的识别和预测结果；
7、s5、对模型识别和预测出的矿岩颗粒进行特征提取，基于特征提取结果预测堆积状态下矿岩颗粒的级配，获得完整的矿岩颗粒轮廓，完成基于遮挡感知下堆积矿岩颗粒的模态实例分割。
8、可选地，s1，搭建不同堆积状态下的矿岩颗粒堆积模型，通过矿岩颗粒堆积模型获取原始图像数据，包括：
9、在光照均匀的条件下按照预设的堆积状态布置矿岩颗粒，获得不同堆积状态下的矿岩颗粒堆积模型；
10、通过相机进行拍摄，获取原始图像数据库，将原始图像数据库分为三类数据库，包括：用于神经网络学习矿岩颗粒基础信息的第一类数据库；用于神经网络学习并预测矿岩颗粒遮挡部分的第二类数据库；用于神经网络训练、测试以及后续深入探究不同遮挡状态下模型对矿岩颗粒的识别和预测结果的第三类数据库。
11、可选地，s2，对多类子训练集进行图像数据处理，获得处理后图像数据，包括：
12、获取第二类数据库和第三类数据库中的图像数据，在每张图像数据的基础上提供多张附属图像；其中，附属图像为去除原始图像中可见的被遮挡的矿岩颗粒上方的颗粒后，在同一高度、角度拍摄获得得图像；
13、对三类数据库中的图像数据进行数据处理，数据处理包括：数据预处理、数据标注、数据增强以及数据后处理，获得处理后图像数据。
14、可选地，数据标注包括：对矿岩颗粒中遮挡部分进行完整标注；采用sam分割大模型或labelme软件，对第一类数据库通过sam进行标注；对第二、三类数据库通过labelme软件进行人工标注。
15、可选地，s3，依托pytorch框架搭建agg-mask2former网络，包括：
16、在mask2former神经网络的基础上引入图神经网络gnn和生成对抗网络gan；其中，包括：在主干网络提取图像特征后引入gnn，用于捕捉特征间的关系；在transformer解码器输出检测结果后加入gnn，用于分析矿岩颗粒之间的遮挡关系(遮挡和被遮挡)；在mask2former输出检测和分割结果后加入gan和gnn对每个被遮挡的矿岩颗粒生成遮挡部分的掩码。
17、可选地，s3中，定义多任务损失函数对神经网络训练过程进行优，包括：
18、定义多任务损失函数mloss的计算公式如下述公式(1)：
19、mloss＝lcls+lbox+lmask+lamodal (1)
20、其中：lcls为目标监测的分类损失，lbox为边界框的回归损失，lmask为预测掩码损失，lamodal为预测遮挡掩码损失。
21、可选地，s4，将处理后图像数据划分为多类子训练集；通过多类子训练集训练agg-mask2former网络获得最优模型；通过交叉验证实验获得不同遮挡状态下模型的识别和预测结果，包括：
22、将处理后图像数据划分为多类子训练集，通过多类子训练集训练神经网络获得最优模型；其中，将三类数据库以7：3的比例随机划分为训练集和测试集；
23、根据研究意义不同将三类数据库划分得多类子训练集进行交叉验证；
24、其中，多类子训练集包括：a类子训练集、b类子训练集以及c类子训练集；a类子训练集包含所有第一、二、三类数据库中的训练集数据，用于训练并制得最终模型；b类子训练集包含所有第一、二类数据库中的训练集数据，并用第三类数据库的测试集进行测试，用于研究检验模型对不同遮挡的识别情况；c类子训练集包含所有第一、三类数据库中的训练集数据，并用第二类数据库的测试集进行测试，用于研究检验模型对真实堆积的识别情况。
25、可选地，s5，对模型识别和预测出的矿岩颗粒进行特征提取，基于特征提取结果预测堆积状态下矿岩颗粒的级配，完成基于遮挡感知下堆积矿岩颗粒的模态实例分割，包括：
26、对模型识别和预测出的矿岩颗粒进行特征提取，提取包括粒径、面积在内的相关几何参数；
27、利用opencv库中函数findcontours获取掩码图像的轮廓，使用库函数contourarea标定出轮廓的面本文档来自技高网...
【技术保护点】
1.一种基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S1，搭建不同堆积状态下的矿岩颗粒堆积模型，通过所述矿岩颗粒堆积模型获取原始图像数据，包括：
3.根据权利要求1所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S2，对所述多类子训练集进行图像数据处理，获得处理后图像数据，包括：
4.根据权利要求3所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述数据标注包括：对矿岩颗粒中遮挡部分进行完整标注；采用SAM分割大模型或Labelme软件，对第一类数据库通过SAM进行标注;对第二、三类数据库通过Labelme软件进行人工标注。
5.根据权利要求4所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S3，依托Pytorch框架搭建AGG-Mask2Former网络，包括：
6.根据权利要求5所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S
7.根据权利要求6所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S4，将所述原始图像数据库划分为多类子训练集；通过所述多类子训练集训练神经网络获得最优模型；通过交叉验证实验获得不同遮挡状态下模型的识别和预测结果，包括：
8.根据权利要求7所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述S5，对模型识别和预测出的矿岩颗粒进行特征提取，基于特征提取结果预测堆积状态下矿岩颗粒的级配，完成基于遮挡感知下堆积矿岩颗粒的模态实例分割，包括：
9.一种基于遮挡感知下堆积矿岩颗粒的模态实例分割装置，所述基于遮挡感知下堆积矿岩颗粒的模态实例分割装置用于实现如权利要求1-8任一项所述基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述装置包括：
10.一种基于遮挡感知下堆积矿岩颗粒的模态实例分割设备，其特征在于，所述基于遮挡感知下堆积矿岩颗粒的模态实例分割设备包括：
...【技术特征摘要】
1.一种基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述s1，搭建不同堆积状态下的矿岩颗粒堆积模型，通过所述矿岩颗粒堆积模型获取原始图像数据，包括：
3.根据权利要求1所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述s2，对所述多类子训练集进行图像数据处理，获得处理后图像数据，包括：
4.根据权利要求3所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述数据标注包括：对矿岩颗粒中遮挡部分进行完整标注；采用sam分割大模型或labelme软件，对第一类数据库通过sam进行标注;对第二、三类数据库通过labelme软件进行人工标注。
5.根据权利要求4所述的基于遮挡感知下堆积矿岩颗粒的模态实例分割方法，其特征在于，所述s3，依托pytorch框架搭建agg-mask2former网络，包括：
6.根据权利要求5所述的基于遮挡感知...
【专利技术属性】
技术研发人员：孙浩，代宗晟，赵丽姗，孙鹏举，周圣贵，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。