一种基于深度学习的自助售货机商品识别方法技术

本发明专利技术提供了一种基于深度学习的自助售货机商品识别方法，属于目标识别技术领域。解决了现有的自助售货机结构复杂、故障率高、商品种类受限制和成本高的问题。其技术方案为：包括以下步骤：S1、采集真实场景下物品数据形成商品检测数据集，并对训练集图片中的商品进行标注；S2、基于yolov5和BFCNN搭建网络框架；S3、根据搭建好的yolov5和BFCNN网络框架分别训练商品数据集；S4、使用训练好的网络验证识别商品，得到识别结果。本发明专利技术的有益效果为：本发明专利技术减小了自助售货机的占地面积以及成本，消除了售货机的商品种类限制，提高了检测速率和精度。精度。精度。

【技术实现步骤摘要】
一种基于深度学习的自助售货机商品识别方法


[0001]本专利技术涉及目标识别
，尤其涉及一种基于深度学习的自助售货机商品识别方法。

技术介绍

[0002]随着科技的进步，如今传统零售业普遍开始使用无人零售，这极大地方便了人们的生活。现在无人零售最常见的产品是自助售货机，它广泛出现在商场、车站等地。自助售货机根据技术方案不同分为四类，分别是机械式、无线射频识别(RFID)式、重力感应式和视觉识别式。机械式售货机是使用一些特定机械装置将消费者购买商品从售货机中直接投递到出货口。RFID式售货机是直接与商品的标签进行双向数据通信得到商品的价格信息，商品离柜后得到最终消费信息。重力感应式售货机商品拥有固定摆放位置，在消费者拿去某个商品后售货机得到该商品重量，然后根据重量和该位置物品所设置的价格得出最终消费信息。视觉识别式售货机是在消费者购买前后拍摄相同区域商品的照片，然后通过图像识别，对比前后商品数量和类别，得到消费者购物信息。
[0003]由于自助售货机在全世界的范围之内都在被广泛地使用，对于它的便捷性、准确性、成本以及维护等方面都有着较高的要求。但是其中机械式自助售货机结构复杂，故障率高，货品单一；RFID式自助售货机成本高，耗费人工，容易损坏和误读；重力感应式自助售货机容易出现结算错误，对传感器灵敏度要求高，需要频繁校准。
[0004]如何解决上述技术问题为本专利技术面临的课题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度学习的自助售货机商品识别方法，yolov5算法拥有快速而准确的识别效果，在图像识别领域被广泛地使用，还有双线性卷积神经网络在对于同类物品之间的识别也拥有很好的表现。
[0006]本专利技术的专利技术思想为：本专利技术通过卷积神经网络自动提取物品特征，分辨物品类别，有较高的速度和准确率，并且在目标识别方面有着明显优势，其中yolov5算法已经广泛地应用于物品的识别，针对目前自助售货机存在的各种结构复杂、故障率高、成本高、商品种类受限制和对传感器灵敏度要求高的问题，提出了一种基于yolov5与BFCNN的自助售货机商品识别算法，减小了自助售货机的占地面积以及成本，消除了售货机的商品种类限制，提高了检测速率和精度。
[0007]为了实现上述专利技术目的，本专利技术采用技术方案具体为：一种基于深度学习的自助售货机商品识别方法，包括以下步骤：
[0008]S1、采集真实场景下物品数据形成商品检测数据集。
[0009](1)将各类商品随意放入摄像头拍摄区域，运行摄像头进行视频拍摄，期间随机打乱各类商品位置。
[0010](2)将通过拍摄得到的视频作为商品数据集图片提取的源文件，然后使用python
程序每间隔4帧提取出一张图片，最终得到商品数据集。
[0011](3)首先通过labelImg软件对拍摄得到的商品数据集进行对标注，标注每张图片上的商品位置和类别，生成yolo格式的txt标注文件，标注文件有五列，分别代表类别代号、标注框相对中心坐标x_center、y_center、标注框相对宽度w和高度h，其中x_center和y_center的值分别为原始中心点x坐标除以宽后的结果和原始中心点y坐标除以图高后的结果，w和h的值分别为原始标记框除以图宽的结果和原始标记框除以图高后的结果，然后根据商品数据集使用k
‑
means++聚类算法将每个坐标框归类到与其相似度距离最近的类别里，其中距离计算使用欧式距离d(x)＝d(box，centroid)＝1
‑
IoU(box，centroid)，其中box为标注框，centroid为聚类中心，并设置centroid的值为9，最后得到商品数据集先验框。
[0012]S2、基于yolov5搭建网络框架。
[0013]yolov5网络模型总的包括Input输入端，将数据集中的图片进行Mosaic数据增强和自适应图片缩放；Backbone网络实现对图片进行特征提取；Neck网络实现对不同尺寸特征图的特征信息进行融合；Prediction输出层对提取到的特征进行结果预测。
[0014]S3、根据搭建好的yolov5网络框架对商品数据集进行训练。进行商品目标检测过程如图2示。
[0015](1)yolov5中Backbone网络使用CSPDarkNet53网络结构对商品进行特征提取，商品数据集先验框作为Anchors使用，并将标注好的训练集输入基于CSPDarkNet53网络的训练模型进行训练。
[0016](2)yolov5网络使用分类损失L
cls
、定位损失L
box
和置信度损失L
obj
三者共同来计算网络的损失，其计算公式为其中N为检测层数，B是标签分配到先验框的目标数，S
×
S为被图片分割成的网格数，λ1、λ2和λ3为三种损失的权重参数。最终将图片分为7
×
7的网格。
[0017](3)训练回归出商品位置时商品位置的预测框会相互之间进行Soft
‑
NMS操作，首先对IoU＞0.4的预测框进行线性惩罚而非直接将其删除，惩罚函数为高斯惩罚函数，其表达式为其中，S
i
为预测框b
i
的得分，M为最大分数的预测框，b
i
为预测框，σ为根据经验选择超参数。对于高斯惩罚函数，IoU越大的给出越大的抑制，相反IoU越小给出越小的抑制，从而减少因两个同类型商品因距离太近导致预测框重叠太多导致误删情况，然后过滤掉置信度阈值小于0.1的预测框，最终得到商品位置预测框。
[0018](4)最后通过全连接层预测商品类别，商品类别信息输出的是商品类别的概率值，其计算为其中，Z
i
为第i个节点的输出值，C为分类的类别数。通过Softmax函数可以将多分类的输出值转换为在[0,1]之间的概率分布，将商品类别概率值大的设置为预测的商品类别。
[0019]S4、使用yolov5对商品数据集进行训练。
[0020]将制作好的数据和放入搭建yolov5网络中进行训练，分别对参数的值进行设置，其中epochs值为300，batch_size值为32，初始学习率为0.001，训练结束后保存最优模型。利用训练完成的商品检测模型对测试集进行识别，输出图片中商品的类别信息和位置信
息。
[0021]S5、根据BCNN搭建双线性特征融合卷积神经网络框架。
[0022](1)双线性特征融合卷积神经网络是基于BCNN网络模型进行添加特征融合模块，其流程图如图3示。BCNN网络模型是由一个四元组组成：M＝(f
A
，f
B
，p，c)，其中f
A
和f
B
为两个双线性卷积神经网络A和B的特征提取函数，p为池化函数，c为分类函数。网络对于输入图像I某处位置l的双线性特征表示为bilinear(l，I，f
A<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自助售货机商品识别方法，其特征在于，包括以下步骤：S1、采集真实场景下物品数据形成商品检测数据集；(1)将各类商品随意放入摄像头拍摄区域，运行摄像头进行视频拍摄，期间随机打乱各类商品位置；(2)将通过拍摄得到的视频作为商品数据集图片提取的源文件，然后使用python程序每间隔4帧提取出一张图片，最终得到商品数据集；(3)使用labelImg对拍摄的商品数据集进行对标注，标注完成后生成yolo数据集格式的txt文件，并按照9比1的比例分为训练集和测试集，然后根据商品数据集使用k
‑
means++聚类算法将每个坐标框归类到与其相似度距离最近的类别里，距离计算使用欧式距离d(x)＝d(box，centroid)1
‑
IoU(box，centroid)，其中box为标注框，centroid为聚类中心，并设置centroid的值为9，最后得到商品数据集先验框；S2、基于yolov5网络结构搭建网络框架；yolov5网络模型总的包括Input输入端，将数据集中的图片进行Mosaic数据增强和自适应图片缩放；Backbone网络实现对图片进行特征提取；Neck网络实现对不同尺寸特征图的特征信息进行融合；Prediction输出层对提取到的特征进行结果预测；S3、根据搭建好的yolov5网络框架训练和识别商品数据集；(1)yolov5中Backbone网络使用CSPDarkNet53网络结构对商品进行特征提取，商品数据集先验框作为Anchors使用，并将标注好的训练集输入基于CSPDarkNet53网络的训练模型进行训练；(2)yolov5网络使用分类损失L
cls
、定位损失L
box
和置信度损失L
obj
三者共同来计算网络的损失，其计算公式为其中N为检测层数，B是标签分配到先验框的目标数，S
×
S为被图片分割成的网格数，λ1、λ2和λ3为三种损失的权重参数，最终将图片分为7
×
7的网格；(3)训练回归出商品位置时商品位置的预测框会相互之间进行Soft
‑
NMS操作，首先对IoU＞0.4的预测框进行线性惩罚而非直接将其删除，惩罚函数为高斯惩罚函数，其表达式为其中，S
i
为预测框b
i
的得分，M为最大分数的预测框，b
i
为预测框，σ为根据经验选择超参数，然后过滤掉置信度阈值小于0.1的预测框，最终得到商品位置预测框；(4)最后通过全连接层预测商品类别，商品类别信息输出的是商品类别的概率值，其计算为其中，Z
i
为第i个节点的输出值，C为分类的类别数；S4、使用yolov5对商品数据集进行训练；将制作好的数据和放入搭建yolov5网络中进行训练，分别对参数的...

【专利技术属性】
技术研发人员：李跃华，张振华，姚章燕，吴赛林，王金凤，陈竹，
申请(专利权)人：南通大学，
类型：发明
国别省市：