一种基于神经网络的堆叠木板计数方法及系统技术方案

本发明专利技术公开了一种基于神经网络的堆叠木板计数方法及系统，通过模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用Y O L O v 7目标检测网络对图像和对应标签进行训练，得到相应网络模型；木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过N M S算法筛选得到的目标框，采用S O R T目标跟踪算法对同层小木板条的目标框实现对应匹配再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。本发明专利技术提升了网络推理速度，抗干扰能力强、复用率较高。复用率较高。复用率较高。

【技术实现步骤摘要】
一种基于神经网络的堆叠木板计数方法及系统


[0001]本专利技术涉及智能仓储物流领域，尤其公开了一种基于神经网络的堆叠木板计数方法及系统。

技术介绍

[0002]在各种工程项目中常会用到木板，在仓储管理中为了减少不必要的浪费，且不影响到施工进程，木板运输时需要统计堆叠的木板数量，即对堆放在一起的木板进行计数，数出当前完整木板的个数。在传统堆叠木板的数量统计中，一般由人工统计仓库内需要搬运的木板数量，所得的木板数量先纸张记录、再手工输入计算机的方式进行采集和统计整理，这不仅造成大量的人力资源浪费，而且由于人为的因素，堆叠木板数量统计的准确率低且效率极其低下。
[0003]相比人工计数，使用深度学习网络对堆叠木板进行实时计数的方法具有更加精准、快速等优势。木板计数的关键是如何提取有效特征识别出木板并进行计数，传统的图像是基于模式匹配方法检测目标物，但堆叠木板的特征规则不显著，使用传统方法难以实现堆叠木板计数。基于深度学习网络的特征提取方法比传统方法提取能力更强。然而，堆叠木板计数存在以下难点：垫底小木板和顶层覆盖物干扰识别；部分材质木板分层界限不明显，肉眼区分困难；单层木板的宽度大、高度小、提取特征相对困难等。对于上述问题，曾进行过基于边缘检测的堆叠木板计数的实验，通过边缘检测算法获得灰度图，高亮区域为边缘点，使用传统算法计算边缘点的拟合直线，最后人工设计规则筛选符合条件的拟合直线，计算直线的条数获取木板数量。但出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等问题。
[0004]因此，现有技术中使用深度学习网络对堆叠木板进行实时计数的方法出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等问题，是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供了一种基于神经网络的堆叠木板计数方法及系统，旨在解决现有技术中使用深度学习网络对堆叠木板进行实时计数的方法出现了训练出的模型和人工设计规则鲁棒性差，对图像的质量要求很高，抗干扰能力差，标记图像边缘区域比较困难，人工设计规则复杂等技术问题。
[0006]本专利技术的一方面涉及一种基于神经网络的堆叠木板计数方法，包括以下步骤：
[0007]模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
[0008]木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取
预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
[0009]进一步地，模型训练阶段阶段的步骤包括：
[0010]图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；
[0011]YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。
[0012]进一步地，YOLOv7检测的步骤中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：
[0013][0014][0015]其中，s
i
表示类别置信度，IoU为交并比，M表示最优边界框，b
i
表示候选框，N
t
表示人工设定的阈值。
[0016]进一步地，木板检测计数阶段的步骤包括：
[0017]SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。
[0018]进一步地，SORT目标跟踪算法的步骤中，通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
[0019]x
k
＝Ax
k
‑1+Bu
k
+w
k
[0020]Z
k
＝Hx
k
+v
k
[0021]其中，x
k
为滤波系统在k时刻的控制信息；x
k
‑1为滤波系统在k
‑
1时刻的控制信息；u
k
为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；w
k
为该滤波系统的过程噪声；Z
k
为该滤波系统在k时刻测量得到的数值；v
k
为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。
[0022]本专利技术的另一方面涉及一种基于神经网络的堆叠木板计数系统，包括：
[0023]模型训练模块，用于模型训练阶段：对采集的图像对应标注，进行图像预处理，将
完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；
[0024]木板检测计数模块，用于木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。
[0025]进一步地，模型训练模块包括：
[0026]图像处理单元，用于图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的堆叠木板计数方法，其特征在于，包括以下步骤：模型训练阶段：对采集的图像对应标注，进行图像预处理，将完整长条木板图像按规格剪切成随机大小的小木板条；采用YOLOv7目标检测网络对图像和对应标签进行训练，得到相应网络模型；木板检测计数阶段：将待检测的图片进行图像预处理，将完整长条木板图像按规格剪切成均等大小的小木板条，输入模型训练阶段得到的网络模型中，进行网络推理，获取预测目标框；通过NMS算法筛选得到的目标框，采用SORT目标跟踪算法对同层小木板条的目标框实现对应匹配，再对同层目标框进行筛选和连接，计算目标框的层数得到木板数量。2.如权利要求1所述的基于神经网络的堆叠木板计数方法，其特征在于，所述模型训练阶段阶段的步骤包括：图像预处理：采集堆叠木板图像，将相机放置于堆叠木板的正前方进行拍摄，得到清晰完整的堆叠木板实拍图，并在获取的图像中将每个木板进行标注；对采集的木板图像均等剪切成设定宽度为的小木板条图像，再进行数据增强处理；YOLOv7检测：图像预处理后将剪切的小木板条图像输入YOLOv7网络进行预测框和真实框的损失计算，更新模型权重，多次训练，得到有效的网络模型；再通过网络推理，得到系列置信度、类别和候选框的预测；再将非极大值抑制算法作为YOLOv7检测任务的后处理算法，从候选框集合中选出最优边界框并抑制其他候选框。3.如权利要求2所述的基于神经网络的堆叠木板计数方法，其特征在于，所述YOLOv7检测的步骤中，采用非极大值抑制算法将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列，并且选择类别置信度得分最高的候选框作为最优边界框，非极大值抑制算法中计算公式如下：值抑制算法中计算公式如下：其中，s
i
表示类别置信度，IoU为交并比，M表示最优边界框，b
i
表示候选框，N
t
表示人工设定的阈值。4.如权利要求1所述的基于神经网络的堆叠木板计数方法，其特征在于，所述木板检测计数阶段的步骤包括：SORT目标跟踪算法：以每个检测与现有目标的所有预测边界框之间的交并比作为前后帧之间目标关系的度量指标，当用YOLOv7检测算法获得每帧图像中小木板条目标对应的检测框坐标及可信度后，执行对同一层小木板目标的跟踪操作，采用卡尔曼滤波预测下一帧图像的目标位置，将YOLOv7的检测结果输入卡尔曼滤波器，得到该帧的估计值；采用改进匈牙利算法进行数据关联，利用检测框与预测框的交并比，确定剪切的同层小木板的跟踪，进行线性分配来关联帧间ID；将得到的木板层数ID进行统计，得到堆叠木板中木板条的数量。5.如权利要求4所述的基于神经网络的堆叠木板计数方法，其特征在于，所述SORT目标跟踪算法的步骤中，通过递归估计方法，在已知上帧图像的估计值及当前帧图像的观测值后，计算当前帧图像的估计值，卡尔曼滤波算法通常通过状态方程和观测方程如下：
x
k
＝Ax
k
‑1+Bu
k
+w
k
Z
k
＝Hx
k
+v
k
其中，x
k
为滤波系统在k时刻的控制信息；x
k
‑1为滤波系统在k
‑
1时刻的控制信息；u
k
为该滤波系统的状态控制向量；A为该滤波系统的状态矩阵；B为该滤波系统的增益系数；w
k
为该滤波系统的过程噪声；Z
k
为该滤波系统在k时刻测量得到的数值；v
k
为该滤波系统测量得到的噪声，H为该滤波系统的系统常量。6.一种基于神经网络的堆叠木板计数系统，其特征在于，包括：模型...

【专利技术属性】
技术研发人员：周志刚，陈勇超，李昌昊，程博，
申请(专利权)人：湖北普罗格科技股份有限公司，
类型：发明
国别省市：