一种钻锚孔中心定位方法、系统、电子设备及介质技术方案

本发明专利技术提供一种钻锚孔中心定位方法、系统、电子设备及介质，属于钻锚孔定位领域，钻锚孔中心定位方法包括：获取综掘工作面图像；基于目标检测模型(预先采用第一训练样本集，基于卷积注意力机制对YOLOv5s网络进行训练得到)，确定综掘工作面图像中的钻锚孔矩形框；目标检测模型包括依次连接的主干网络、颈部网络、卷积注意力网络及头部网络；基于图像分割模型(预先采用第二训练样本集对U

【技术实现步骤摘要】
一种钻锚孔中心定位方法、系统、电子设备及介质


[0001]本专利技术涉及钻锚孔定位领域，特别是涉及一种基于改进的YOLOv5s与U
‑
Net的钻锚孔中心定位方法、系统、电子设备及介质。

技术介绍

[0002]煤矿开采，掘进先行，其巷道支护是煤炭安全开采关键环节，随着对煤炭需求量的增加，开采和支护效率也必须相对应的提高。钻锚机器人是专门用于煤矿井下和其他井巷工程中巷道安装锚杆的支护类设备，可以代替工人完成物料运输、钻孔、锚杆装配等作业，有效地解决工人劳动强度大等问题。但目前大多数钻锚作业都是通过人工驾驶钻锚机器人移动以及工作机构位姿调整完成钻锚机器人定位，由此可见其定位精度和效率均无法保证。

技术实现思路

[0003]本专利技术的目的是提供一种钻锚孔中心定位方法、系统、电子设备及介质，可提高定位精度及效率。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种钻锚孔中心定位方法，包括：
[0006]获取综掘工作面图像；
[0007]基于目标检测模型，确定所述综掘工作面图像中的钻锚孔矩形框；所述目标检测模型为预先采用第一训练样本集，基于卷积注意力机制，对YOLOv5s网络进行训练得到的；所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的钻锚孔矩形框；所述目标检测模型包括依次连接的主干网络、颈部网络、卷积注意力网络及头部网络；
[0008]基于图像分割模型，对所述钻锚孔矩形框进行分割，确定所述钻锚孔矩形框中的钻锚孔区域，以得到钻锚孔灰度图；所述图像分割模型为预先采用第二训练样本集对U
‑
net进行训练得到的；所述第二训练样本集包括多张第二样本图像及各第二样本图像中钻锚孔区域的标记；
[0009]对所述钻锚孔灰度图进行二值化处理，得到二值图像；
[0010]根据所述二值图像中白色像素点的坐标，确定钻锚孔中心的坐标。
[0011]可选地，所述基于目标检测模型，确定所述综掘工作面图像中的钻锚孔矩形框，具体包括：
[0012]通过主干网络对所述综掘工作面图像进行特征提取，得到第一特征图、第二特征图及第三特征图；
[0013]通过颈部网络根据所述第一特征图、所述第二特征图及所述第三特征图，进行上采样和特征融合操作，得到第四特征图、第五特征图及第六特征图；
[0014]通过卷积注意力网络分别对所述第四特征图、所述第五特征图及所述第六特征图进行空间和通道的自适应校准，得到对应的第一校准图像、第二校准图像及第三校准图像；
[0015]通过头部网络对分别所述第一校准图像、所述第二校准图像及所述第三校准图像进行目标检测，以确定所述综掘工作面图像中的钻锚孔矩形框。
[0016]可选地，所述主干网络包括依次连接的FOCUS层、第一特征提取层、第二特征提取层及第三特征提取层；
[0017]所述通过主干网络对所述综掘工作面图像进行特征提取，得到第一特征图、第二特征图及第三特征图，具体包括：
[0018]通过FOCUS层对所述综掘工作面图像进行通道扩充，得到通道扩充特征图；
[0019]通过所述第一特征提取层对所述通道扩充特征图进行特征提取，得到第一特征图；
[0020]通过所述第二特征提取层对所述第一特征图进行特征提取，得到第二特征图；
[0021]通过所述第三特征提取层对所述第二特征图进行特征提取，得到第三特征图。
[0022]可选地，所述颈部网络包括依次连接的第一中间特征提取层、第一融合层、第二中间特征提取层、第二融合层、第四特征提取层、第三融合层、第五特征提取层、第四融合层、第六特征提取层；
[0023]所述通过颈部网络根据所述第一特征图、所述第二特征图及所述第三特征图，进行上采样和特征融合操作，得到第四特征图、第五特征图及第六特征图，具体包括：
[0024]通过所述第一中间特征提取层对所述第三特征图进行特征提取，得到第一中间特征图；
[0025]通过所述第一融合层对所述第一中间特征图与所述第二特征图进行融合，得到第一融合特征图；
[0026]通过所述第二中间特征提取层对所述第一融合特征图进行特征提取，得到第二中间特征图；
[0027]通过所述第二融合层对所述第二中间特征图与所述第一特征图进行融合，得到第二融合特征图；
[0028]通过所述第四特征提取层对所述第二融合特征图进行特征提取，得到第四特征图；
[0029]通过所述第三融合层对所述第四特征图与所述第二中间特征图进行融合，得到第三融合特征图；
[0030]通过所述第五特征提取层对所述第三融合特征图进行特征提取，得到第五特征图；
[0031]通过所述第四融合层对所述第五特征图与所述第一中间特征图进行融合，得到第四融合特征图；
[0032]通过所述第六特征提取层对所述第四融合特征图进行特征提取，得到第六特征图。
[0033]可选地，所述卷积注意力网络包括第一卷积注意力机制模块、第二卷积注意力机制模块及第三卷积注意力机制模块；
[0034]所述通过卷积注意力网络分别对所述第四特征图、所述第五特征图及所述第六特征图进行空间和通道的自适应校准，得到对应的第一校准图像、第二校准图像及第三校准图像，具体包括：
[0035]通过所述第一卷积注意力机制模块对所述第四特征图进行空间和通道的自适应校准，得到第一校准图像；
[0036]通过所述第二卷积注意力机制模块对所述第五特征图进行空间和通道的自适应校准，得到第二校准图像；
[0037]通过所述第三卷积注意力机制模块对所述第六特征图进行空间和通道的自适应校准，得到第三校准图像。
[0038]可选地，采用以下公式，确定钻锚孔中心的坐标：
[0039][0040]其中，x
a
为钻锚孔中心的横坐标，y
a
为钻锚孔中心的纵坐标，n为二值图像中白色像素点的总数，x
i
为二值图像中第i个白色像素点的横坐标，y
i
为二值图像中第i个白色像素点的纵坐标。
[0041]为实现上述目的，本专利技术还提供了如下方案：
[0042]一种钻锚孔中心定位系统，包括：
[0043]图像获取单元，用于获取综掘工作面图像；
[0044]目标检测单元，与所述图像获取单元连接，用于基于目标检测模型，确定所述综掘工作面图像中的钻锚孔矩形框；所述目标检测模型为预先采用第一训练样本集，基于卷积注意力机制，对YOLOv5s网络进行训练得到的；所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的钻锚孔矩形框；所述目标检测模型包括依次连接的主干网络、颈部网络、卷积注意力网络及头部网络；
[0045]分割单元，与所述目标检测单元连接，用于基于图像分割模型，对所述钻锚孔矩形框进行分割，确定所述钻锚孔矩形框中的钻锚孔区域，以得到钻锚孔灰度图；所述图像分割模型为预先采用第二训练样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钻锚孔中心定位方法，其特征在于，所述钻锚孔中心定位方法包括：获取综掘工作面图像；基于目标检测模型，确定所述综掘工作面图像中的钻锚孔矩形框；所述目标检测模型为预先采用第一训练样本集，基于卷积注意力机制，对YOLOv5s网络进行训练得到的；所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的钻锚孔矩形框；所述目标检测模型包括依次连接的主干网络、颈部网络、卷积注意力网络及头部网络；基于图像分割模型，对所述钻锚孔矩形框进行分割，确定所述钻锚孔矩形框中的钻锚孔区域，以得到钻锚孔灰度图；所述图像分割模型为预先采用第二训练样本集对U
‑
net进行训练得到的；所述第二训练样本集包括多张第二样本图像及各第二样本图像中钻锚孔区域的标记；对所述钻锚孔灰度图进行二值化处理，得到二值图像；根据所述二值图像中白色像素点的坐标，确定钻锚孔中心的坐标。2.根据权利要求1所述的钻锚孔中心定位方法，其特征在于，所述基于目标检测模型，确定所述综掘工作面图像中的钻锚孔矩形框，具体包括：通过主干网络对所述综掘工作面图像进行特征提取，得到第一特征图、第二特征图及第三特征图；通过颈部网络根据所述第一特征图、所述第二特征图及所述第三特征图，进行上采样和特征融合操作，得到第四特征图、第五特征图及第六特征图；通过卷积注意力网络分别对所述第四特征图、所述第五特征图及所述第六特征图进行空间和通道的自适应校准，得到对应的第一校准图像、第二校准图像及第三校准图像；通过头部网络对分别所述第一校准图像、所述第二校准图像及所述第三校准图像进行目标检测，以确定所述综掘工作面图像中的钻锚孔矩形框。3.根据权利要求2所述的钻锚孔中心定位方法，其特征在于，所述主干网络包括依次连接的FOCUS层、第一特征提取层、第二特征提取层及第三特征提取层；所述通过主干网络对所述综掘工作面图像进行特征提取，得到第一特征图、第二特征图及第三特征图，具体包括：通过FOCUS层对所述综掘工作面图像进行通道扩充，得到通道扩充特征图；通过所述第一特征提取层对所述通道扩充特征图进行特征提取，得到第一特征图；通过所述第二特征提取层对所述第一特征图进行特征提取，得到第二特征图；通过所述第三特征提取层对所述第二特征图进行特征提取，得到第三特征图。4.根据权利要求2所述的钻锚孔中心定位方法，其特征在于，所述颈部网络包括依次连接的第一中间特征提取层、第一融合层、第二中间特征提取层、第二融合层、第四特征提取层、第三融合层、第五特征提取层、第四融合层、第六特征提取层；所述通过颈部网络根据所述第一特征图、所述第二特征图及所述第三特征图，进行上采样和特征融合操作，得到第四特征图、第五特征图及第六特征图，具体包括：通过所述第一中间特征提取层对所述第三特征图进行特征提取，得到第一中间特征图；通过所述第一融合层对所述第一中间特征图与所述第二特征图进行融合，得到第一融合特征图；
通过所述第二中间特征提取层对所述第一融合特征图进行特征提取，得到第二中间特征图；通过所述第二融合层对所述第二中间特征图与所述第一特征图进行融合，得到第二融合特征图；通过所述第四特...

【专利技术属性】
技术研发人员：张旭辉，吴雨佳，雷孟宇，韩磊，黄梦瑶，张超，
申请(专利权)人：渭南陕煤启辰科技有限公司，
类型：发明
国别省市：