一种基于图像处理的餐具分类方法技术

本发明专利技术涉及图像处理技术领域，一种基于图像处理的餐具分类方法，通过摄像机对餐具的相对于餐具底面成左上角45

【技术实现步骤摘要】
一种基于图像处理的餐具分类方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于图像处理的餐具分类方法。

技术介绍

[0002]目前，在餐具分类领域中主要应用的方法是在餐盘内部嵌入芯片，安装传感器等。然而，对于这种传统的传感器检测，在实际应用中经常出现餐具破损，芯片失灵，传感器需要维护等不可避免的缺点。因此，对于传统的餐具分类来说，成本较高，不易于普及。
[0003]在日益发展的现实因素下，许多大型食堂的餐具处理是十分繁琐的，因此增加了食堂员工的工作强度和增加了经济成本。而且，由于在放置餐具的时候对餐具的分类准确度不高，杂乱的放置也影响食堂的整洁度和美观。基于此，为了提高餐具识别的适应性和准确率，研究一种基于图像处理的餐具分类方法具有十分重要的意义。

技术实现思路

[0004]本专利技术的目的是为解决上述现有技术的不足之处而提供一种基于图像处理的餐具分类方法。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于图像处理的餐具分类方法，包括以下步骤：
[0006]步骤S1:通过摄像机对餐具的相对于餐具底面成左上角45
°
方向和相对于餐具底面成右上角45
°
方向两个不同角度拍照获取两张图像，并比较选取较为清晰的一张图像；
[0007]步骤S2:对图像进行预处理，制作餐具数据集；
[0008]步骤S3:通过现有SSD模型检测数据集中的图像中的餐具并通过筛选获得清晰图片；
[0009]步骤S4:通过利用基于卷积神经网络的网络模型，对其运用经过步骤S3处理的数据集图像进行训练得到餐具分类模型；
[0010]步骤S5:采用步骤S1、S2、S3中的方法拍摄待检测的餐具的图像并进行处理，然后输入到步骤S4中餐具分类模型中进行分类识别。
[0011]步骤S1中所述的比较选取较为清晰的一张图像包括如下步骤：
[0012]步骤S11:将两张图像分别通过傅里叶变换从空间域变换到频率域；
[0013]傅里叶公式如下：
[0014][0015]其中，f(x,y)是输入图像，r(x,y,u,v)为正变换核，T(u,v)为f(x,y)的正变换；x为输入图像的横坐标，y为输入图像的纵坐标，u为经过傅里叶变换后时域里的频率，v为经过傅里叶变换后时域里的振幅，M、N分别代表周期的个数；
[0016]步骤S12:比较两张图像的频率分量，清晰图像高频分量较多，模糊图像低频分量
较多；将清晰图像留下，模糊图像舍去。
[0017]步骤S2中对图像进行预处理包括如下步骤：
[0018]步骤S21:对餐具图像进行灰度转化并计算其平均灰度值；
[0019]步骤S22:将灰度图像转化为二值矩阵；
[0020]步骤S23:将图像大小缩放为300*300像素；
[0021]步骤S24:将图像左右部分以垂直中轴线为中心进行水平镜像处理；
[0022]步骤S25:将图像进行基于梯度法的邻域增强锐化；运用微分运算求信号的变化率，使图像轮廓清晰，实现边缘增强。
[0023]步骤S3中通过现有SSD模型检测数据集中的图像中的餐具并通过筛选获得清晰图片包括如下步骤：
[0024]步骤S31：输入图片经过SSD模型中多个卷积层的前向传播和反向传播后，依次获得六个特征图；
[0025]步骤S32：SSD默认框从这六张特征图中生成先验框，先验框由两部分组成：先验框中心位置信息和尺寸信息；
[0026]步骤S33：使用非极大值抑制的方法进行先验框的筛选，将不合适的先验框对应的特征图去掉，留下即为清晰图片。
[0027]进一步地，使用SSD模型得到检测框S的具体步骤为：
[0028]对先验框进行设计：
[0029]SSD默认框一共提取了6个特征图，但是每个特征图上设置的先验框数量不同。先验框的设置，包括尺度和长宽比两个方面。对于先验框的尺度，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加。每个pixel的先验框的中心点分布在各个pixel的中心。
[0030]先验框匹配：确定图片中的ground truth与哪一个先验框来进行匹配，与之匹配的先验框所对应的bounding_box将进行预测。
[0031]步骤S4中通过利用基于卷积神经网络的网络模型，对其运用经过步骤S3处理的数据集图像进行训练得到餐具分类模型包括如下步骤步骤S41：将数据集中的图像采用步骤S3的处理方法进行处理，然后按照9：1的比例分为训练数据集和测试数据集；
[0032]步骤S42：将训练数据集输入到基于卷积神经网络的网络模型即菜品识别模型resNet34中进行训练；
[0033]步骤S43：在训练好的菜品识别模型resNet34中使用测试数据集进行测试实现餐具分类。
[0034]步骤S5中采用步骤S1、S2、S3中的方法拍摄待检测的餐具的图像并进行处理，然后输入到步骤S4中餐具分类模型中进行分类识别，包括如下步骤：
[0035]步骤S51：拍摄新餐具照片，经过步骤S2、步骤S3之后获得合适的先验框；
[0036]步骤S52：冻结餐具分类识别模型resNet34的浅层特征参数使其不参与训练，将合适的先验框送入餐具分类识别模型resNet34进行训练，获得新的可以识别新餐具的模型实现分类识别。
附图说明
[0037]图1是本专利技术的流程示意图；
[0038]图2是SSD模型结构示意图；
[0039]图3是resNet34结构示意图。
具体实施方式
[0040]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但是本专利技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施的限制。
[0041]其次，本专利技术利用示意图进行详细描述，在详述本专利技术实施例时，为便于说明，示意图只是实例，其在此不应限制本专利技术保护的范围。
[0042]如图1所示为本申请的一种基于图像处理的餐具分类方法，主要应用在大型公司和学校食堂等场合。具体地，基于图像处理的餐具分类方法主要包含以下步骤：步骤S1:通过摄像机对餐具的相对于餐具底面成左上角45
°
方向和相对于餐具底面成右上角45
°
方向两个不同角度拍照获取图像，并比较选取较为清晰的一张图像；步骤S2:对图像进行预处理，制作餐具数据集；步骤S3:通过深度学习算法检测图像中的餐具并通过筛选获得清晰图片；步骤S4:通过利用基于卷积神经网络的网络模型，对其运用数据集进行训练得到餐具分类模型；步骤S5:将网络训练结果得到的餐具分类模型进行分类识别。
[0043]通过本申请的分类方法，提高了餐具的识别效率和识别精度，极大的改善了食堂的效率。以下具体介绍上述步骤。
[0044]一种基于图像处理的餐具分类方法，如图1、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理的餐具分类方法，其特征在于，包括以下步骤：步骤S1:通过摄像机对餐具的相对于餐具底面成左上角45
°
方向和相对于餐具底面成右上角45
°
方向两个不同角度拍照获取两张图像，并比较选取较为清晰的一张图像；步骤S2:对图像进行预处理，制作餐具数据集；步骤S3:通过现有SSD模型检测数据集中的图像中的餐具并通过筛选获得清晰图片；步骤S4:通过利用基于卷积神经网络的网络模型，对其运用经过步骤S3处理的数据集图像进行训练得到餐具分类模型；步骤S5:采用步骤S1、S2、S3中的方法拍摄待检测的餐具的图像并进行处理，然后输入到步骤S4中餐具分类模型中进行分类识别。2.根据权利要求1所述的一种基于图像处理的餐具分类方法，其特征在于，步骤S1中所述的比较选取较为清晰的一张图像包括如下步骤：步骤S11:将两张图像分别通过傅里叶变换从空间域变换到频率域；傅里叶公式如下：其中，f(x,y)是输入图像，r(x,y,u,v)为正变换核，T(u,v)为f(x,y)的正变换；x为输入图像的横坐标，y为输入图像的纵坐标，u为经过傅里叶变换后时域里的频率，v为经过傅里叶变换后时域里的振幅，M、N分别代表周期的个数；步骤S12:比较两张图像的频率分量，清晰图像高频分量较多，模糊图像低频分量较多；将清晰图像留下，模糊图像舍去。3.根据权利要求1所述的一种基于图像处理的餐具分类方法，其特征在于，步骤S2中对图像进行预处理包括如下步骤：步骤S21:对餐具图像进行灰度转化并计算其平均灰度值；步骤S22:将灰度图像转化为二值矩阵；步骤S23:将图像大小缩放为300*300像素；步骤S24:将图像左右部分以垂直中轴线为中心进行水平镜像处理；步骤S25:将图像进...

【专利技术属性】
技术研发人员：丁洁，武霁，丁冰，郑德智，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：