基于机器视觉的仓库堆垛物品盘库计数方法及装置制造方法及图纸

本申请涉及计算机视觉技术领域，特别涉及一种基于机器视觉的仓库堆垛物品盘库计数方法及装置，其中，方法包括：通过采集检测堆垛图像数据并划分训练集与验证集；对图像数据进行预处理和数据扩充；使用深度神经网络检测模型对堆垛的正面、顶面进行定位与分类，在训练集上进行训练，直至迭代到达预设条件；使用训练好的网络在线地对其它堆垛图片数据进行检测；通过提出的三维计数算法将深度神经网络得到的检测结果转化为计数结果。从而实现了对仓库堆垛物品的自动盘库计数任务，在有较强的鲁棒性的同时能取得很高的准确率。由此，解决了设备成本或存储成本较高，智能化成度较低，不易推广等问题。推广等问题。推广等问题。

【技术实现步骤摘要】
基于机器视觉的仓库堆垛物品盘库计数方法及装置


[0001]本申请涉及计算机视觉
，特别涉及一种基于机器视觉的仓库堆垛物品盘库计数方法及装置。

技术介绍

[0002]仓储是现代物流的核心环节。而在人工智能、计算机视觉等技术飞速发展的今天，在仓储信息化、自动化的基础上，仓储技术的发展已经到了智能化的阶段。而在仓储方案的各项功能中，仓库物品盘库计数是至关重要的一环。传统的盘库计数任务多靠仓库管理工人人工完成，这项工作一般在某一段时期集中完成，其对仓库管理工来说具有较大的工作强度，且容易出错。
[0003]相关技术中，一些基于RFID(Radio Frequency Identification)的智能盘库的方法，需要对每件仓库中的货物都加以电子标签，在存储一般货物的仓库中这往往难以实现。除此之外，还有使用“视觉比对”方法的盘库系统，但这种方法单纯将地将货物入库时的图片和出库时的图片做一个比对，如果算法认为差距过大就交由人工识别。以上方法都需要较大的设备成本或存储成本，且智能化成度较低，不易推广。
[0004]近年来，在计算机视觉领域，基于CNN(Convolutional Neural Network)的目标检测模型层出不穷，它们在自动驾驶、人脸检测、行人检测等诸多领域都被证实能远远胜过传统方法，而现有的视觉目标检测方法并未在仓库盘库清点的领域上得到充分应用。因此，对于基于机器视觉的仓库堆垛物品盘库计数方法有待进一步研究。
[0005]申请内容
[0006]本申请提供一种基于机器视觉的仓库堆垛物品盘库计数方法及装置，以解决设备成本或存储成本较高，智能化成度较低，不易推广等问题。
[0007]本申请第一方面实施例提供一种基于机器视觉的仓库堆垛物品盘库计数方法，包括以下步骤：构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
[0008]可选地，在本申请的一个实施例中，所述目标检测模型为基于Faster R
‑
CNN的模型结构，所述基于Faster R
‑
CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
[0009]可选地，在本申请的一个实施例中，所述将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理，包括：
[0010]利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
[0011]利用图像水平翻转按照0.5的概率对图像水平进行翻转；
[0012]利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
[0013]可选地，在本申请的一个实施例中，所述多任务损失包括交叉熵分类损失和边框回归的smoothL1损失，其中，在区域建议网络层中的Anchor的纵横比为{1∶2，1∶1，2∶1}，其尺寸为{8，16，32}。
[0014]可选地，在本申请的一个实施例中，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。
[0015]可选地，在本申请的一个实施例中，所述密度聚类算法为基于DBSACN的聚类算法，其中，检测框样本间距离表示如下：
[0016]Distance1(bbox1，bbox2)＝|y
1min
‑
y
2min
|+|y
1max
‑
y
2max
|，
[0017]Distance2(bbox1，bbox2)＝1/|y
1min
‑
y
2max
|+1/|y
1max
‑
y
2min
|，
[0018]Distonce(bbox1，bbox2)＝Distance1(bbox1，bbox2)+λDistance2(bbox1，bbox2)，
[0019]其中，Distance1(bbox1，bbox2)为两个框的上下边距离之和，Distance2(bbox1，bbox2)第二个距离为上下层框距离惩罚项，Distance(bbox1，bbox2)为Distance1(bbox1，bbox2)和Distance2(bbox1，bbox2)这两个距离的加权和；
[0020]并且，所述计数统计算法为：
[0021]N＝(N
layer
‑
1)*N
cargo
‑
perlayer
+N
top
，
[0022]其中，N
cargo
‑
perlayer
是每层堆垛的箱子个数，N
layer
是聚类算法得到的正面的总层数，N
top
是目标检测模型得到的顶层箱子。
[0023]本申请第二方面实施例提供一种基于机器视觉的仓库堆垛物品盘库计数装置，包括：模型构建模块，用于构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；数据预处理模块，用于将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；模型训练模块，用于选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；转化模块，用于对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及计数模块，用于利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
[0024]可选地，在本申请的一个实施例中，所述目标检测模型为基于Faster R
‑
CNN的模型结构，所述基于Faster R
‑
CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
[0025]可选地，在本申请的一个实施例中，所述数据预处理模块，具体用于，
[0026]利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
[0027]利用图像水平翻转按照0.5的概率对图像水平进行翻转；
[0028]利用直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的仓库堆垛物品盘库计数方法，其特征在于，包括以下步骤：构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。2.根据权利要求1所述的方法，其特征在于，所述目标检测模型为基于Faster R
‑
CNN的模型结构，所述基于Faster R
‑
CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。3.根据权利要求1所述的方法，其特征在于，所述将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理，包括：利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；利用图像水平翻转按照0.5的概率对图像水平进行翻转；利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。4.根据权利要求1所述的方法，其特征在于，所述多任务损失包括交叉熵分类损失和边框回归的smoothL1损失，其中，在区域建议网络层中的Anchor的纵横比为{1:2,1：1,2:1}，其尺寸为{8,16，32}。5.根据权利要求1所述的方法，其特征在于，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。6.根据权利要求1所述的方法，其特征在于，所述密度聚类算法为基于DBSACN的聚类算法，其中，检测框样本间距离表示如下：Distance1(bbox1,bbox2)＝|y
1min
‑
y
2min
|+|y
1max
‑
y
2max
|，Distance2(bbox1,bbox2)＝1/|y
1min
‑
y
2max
|+1/|y
1max
‑
y
2min
|，Distance(bbox1,bbox2)＝Distance1(bbox1...

【专利技术属性】
技术研发人员：黄必清，陈传军，殷昊男，
申请(专利权)人：北自所北京科技发展股份有限公司，
类型：发明
国别省市：