一种通过算法提升瓷砖图像识别的方法及装置制造方法及图纸

本发明专利技术公开了一种通过算法提升瓷砖图像识别的方法及装置，所述方法包括接收待识别图像；对所述待识别图像进行瓷砖轮廓识别，基于瓷砖轮廓利用透视变换算法、仿射变换算法和/或图像掩膜裁剪算法去除所述待识别图像的背景，得到目标瓷砖图像；基于神经网络模型对所述目标瓷砖图像进行特征提取，并利用所述目标瓷砖图像的特征向量检索图库中图像，根据图像索引得到与所述目标瓷砖图像相似的若干个瓷砖图像，该若干个瓷砖图像表征为若干个已知瓷砖型号。砖型号。砖型号。

【技术实现步骤摘要】
一种通过算法提升瓷砖图像识别的方法及装置


[0001]本专利技术涉及瓷砖自动识别领域，尤其涉及一种通过算法提升瓷砖图像识别的方法及装置。

技术介绍

[0002]随着工业技术的发展，机器视觉在智能制造领域发挥越来越重要的作用，尤其是图像识别技术，正不断在各行业得到广泛的应用。
[0003]尤其是在瓷砖行业的图像识别技术普及程度不足。因为瓷砖的图像识别具有一定的特殊性。瓷砖与其它产品不一样的是：瓷砖的特征比较缺乏，有些瓷砖的条纹很少、且颜色浅，很难通过传统算法提取出图片的特征，导致识别失效。
[0004]瓷砖图案纹理大部分都比较相似，这使得现有的图像识别技术，很难区分这种细微的差别。而在实际应用中，待识别的瓷砖图像往往是通过不同用户拍摄的实拍图，清晰度、亮度、角度、方向、反光情况、带背景情况等都有较大差别，这使得瓷砖识别的难度加大。

技术实现思路

[0005]针对上述技术问题，本专利技术提供了一种通过算法提升瓷砖图像识别的方法及装置，可以提升瓷砖图像识别技术，使得图像识别技术可以在瓷砖识别领域得到更好地应用。
[0006]本专利技术实施例的第一方面，提供一种通过算法提升瓷砖图像识别方法，包括：接收待识别图像；对所述待识别图像进行瓷砖轮廓识别，基于瓷砖轮廓利用透视变换算法、仿射变换算法和/或图像掩膜裁剪算法去除所述待识别图像的背景，得到目标瓷砖图像；基于神经网络模型对所述目标瓷砖图像进行特征提取，并利用所述目标瓷砖图像的特征向量检索图库中图像，根据图像索引得到与所述目标瓷砖图像相似的若干个瓷砖图像，该若干个瓷砖图像表征为若干个已知瓷砖型号。
[0007]一种可能的实施方式中，所述对所述待识别图像进行瓷砖轮廓识别，包括：采用U2‑
Net模型对所述待识别图像进行目标检测，将待识别图像生成图像掩膜识别出瓷砖的轮廓图像，所述U2‑
Net模型采用以下损失函数训练而成：其中是每个输出显著概率图的损失函数，ι
fuse
是最后的融合输出显著图的损失函数；与ω
fuse
是损失函数项的权重；对于损失函数，采用以下公式计算损失：
其中，(r，c)为像素坐标，(H，W)为图像的高度和宽度，P
G(r，c)
和P
S(r，c)
分别表示GT像素值和预测的显著概率图。
[0008]一种可能的实施方式中，所述基于瓷砖轮廓利用透视变换算法去除所述待识别的图像的背景，包括：确定出所述待识别图像及所述瓷砖的轮廓图像的四个顶点坐标，计算由瓷砖的轮廓图像到待识别图像的矩形透视变换的第一矩阵；基于所述第一矩阵将所述待识别图像及所述图像掩膜做同步透视变换计算，将两个图像投影到一个新的视平面，得到用于裁剪的图像掩膜及用于裁剪的待识别图像，利用预设阈值结合用于裁剪的待识别图像计算与用于裁剪的图像掩膜的尺寸大小，并基于尺寸大小裁剪所述待识别图像，或者变换为利用仿射变换算法、图像掩膜裁剪算法中至少一种去除所述待识别图像的背景。
[0009]一种可能的实施方式中，所述基于瓷砖轮廓利用仿射变换算法去除所述待识别的图像的背景，包括：根据瓷砖的轮廓图像确定最小外接矩形，根据所述最小外接矩形确定最小外接矩形的中心、旋转角度，然后计算由瓷砖的轮廓图像到待识别图像的仿射变换的第二矩阵；基于所述第二矩阵将所述待识别图像及图像掩膜做同步仿射变换计算，得到旋转的图像掩膜与待识别图像，根据旋转的图像掩膜与待识别图像、最小外接矩形的中心、最小外接矩形的尺寸、对所述旋转的图像掩膜与待识别图像进行初步裁剪；利用预设阈值结合初步裁剪的待识别图像计算与初步裁剪的图像掩膜的尺寸大小，并基于尺寸大小裁剪所述待识别图像，或者变换为利用仿射变换算法、图像掩膜裁剪算法中至少一种去除所述待识别图像的背景。
[0010]一种可能的实施方式中，所述基于瓷砖轮廓利用仿射变换算法去除所述待识别的图像的背景，包括：直接基于图像掩膜裁剪所述待识别图像，去除背景。
[0011]一种可能的实施方式中，所述基于神经网络模型对所述目标瓷砖图像进行特征提取，包括：基于三元组神经网络模型对所述目标瓷砖图像进行特征提取，所述三元组神经网络模型的三元组样本对采用最困难三元组与一般三元组，所述三元组样本数据选自ResNet50预训练模型对数据集提取的特征向量及KNN邻近算法确定的相似型号瓷砖图像的特征向量。
[0012]一种可能的实施方式中，训练所述三元组神经网络模块包括以下步骤：将所述三元组样本对输入三元组神经网络模块，利用ResNet50预训练模型提取所述三元组样本对的图像特征形成特征向量；分别计算锚样本与正样本的欧式距离、锚样本与负样本的欧式距离；通过三元组损失函数计算三元组损失以优化三元组神经网络，直至三元组神经网络模型收敛。
[0013]一种可能的实施方式中，三元组样本生成方法包括：利用ResNet50预训练模型对训练集提取特征形成特征向量，所述数据集包括通过翻转、亮度调节、色度调节、对比度调节、随机裁剪方式增广的数据集；从型号库中每个型号随机抽取一张图作为锚样本，随机抽取一张与锚样本同型号
的图作为正样本，利用KNN邻近算法确定若干个与锚样本相似型号的图，从该若干个与锚样本相似型号的图对应的实拍图及原图中随机抽取一个作为负样本，根据约束条件筛选成为三元组样本对。
[0014]本专利技术实施例的第二方面，提供一种通过算法提升瓷砖图像识别方法装置，包括：获取模块，用于接收待识别图像；图像处理模块，用于对所述待识别图像进行瓷砖轮廓识别，基于瓷砖轮廓利用透视变换算法、仿射变换算法和/或图像掩膜裁剪算法去除所述待识别图像的背景，得到目标瓷砖图像；识别模块，用于基于神经网络模型对所述目标瓷砖图像进行特征提取，并利用所述目标瓷砖图像的特征向量检索图库中图像，根据图像索引得到与所述目标瓷砖图像相似的若干个瓷砖图像，该若干个瓷砖图像表征为若干个已知瓷砖型号。
[0015]本专利技术实施例的第三方面，提供一种图像识别设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行本专利技术实施例的第一方面提供所述的方法。
[0016]本专利技术实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行本专利技术实施例的第一方面提供所述的方法。
[0017]本专利技术对用户上传的图像进行背景去除，以减少背景对图像识别的干扰；通过构建深度学习模型，使得待识别图像与同型号图像的欧式距离较近，并且同时使待识别图像和非同型号图像的欧式距离较远，然后将待识别图像特征与图库特征比较，检索到最相似的图像。本专利技术提供的方案能适应不同场景下的瓷砖图像检索，图像检索更具有鲁棒性，弥补现有技术中技术缺失，使识别与推荐更符合用户需求。
附图说明
[0018]图1为本专利技术实施例中一种通过算法提升瓷砖图像识别方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过算法提升瓷砖图像识别的方法，其特征在于，包括：接收待识别图像；对所述待识别图像进行瓷砖轮廓识别，基于瓷砖轮廓利用透视变换算法、仿射变换算法和/或图像掩膜裁剪算法去除所述待识别图像的背景，得到目标瓷砖图像；基于神经网络模型对所述目标瓷砖图像进行特征提取，并利用所述目标瓷砖图像的特征向量检索图库中图像，根据图像索引得到与所述目标瓷砖图像相似的若干个瓷砖图像，该若干个瓷砖图像表征为若干个已知瓷砖型号。2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像进行瓷砖轮廓识别，包括：采用U2‑
Net模型对所述待识别图像进行目标检测，将待识别图像生成图像掩膜识别出瓷砖的轮廓图像，所述U2‑
Net模型采用以下损失函数训练而成：其中是每个输出显著概率图的损失函数，ι
fuse
是最后的融合输出显著图的损失函数；与ω
fuse
是损失函数项的权重；对于损失函数，采用以下公式计算损失：其中，(r，c)为像素坐标，(H，W)为图像的高度和宽度，P
G(r，c)
和P
S(r，c)
分别表示GT像素值和预测的显著概率图。3.根据权利要求2所述的方法，其特征在于，所述基于瓷砖轮廓利用透视变换算法去除所述待识别的图像的背景，包括：确定出所述待识别图像及所述瓷砖的轮廓图像的四个顶点坐标，计算由瓷砖的轮廓图像到待识别图像的矩形透视变换的第一矩阵；基于所述第一矩阵将所述待识别图像及所述图像掩膜做同步透视变换计算，将两个图像投影到一个新的视平面，得到用于裁剪的图像掩膜及用于裁剪的待识别图像，利用预设阈值结合用于裁剪的待识别图像计算与用于裁剪的图像掩膜的尺寸大小，并基于尺寸大小裁剪所述待识别图像，或者变换为利用仿射变换算法、图像掩膜裁剪算法中至少一种去除所述待识别图像的背景。4.根据权利要求2所述的方法，其特征在于，所述基于瓷砖轮廓利用仿射变换算法去除所述待识别的图像的背景，包括：根据瓷砖的轮廓图像确定最小外接矩形，根据所述最小外接矩形确定最小外接矩形的中心、旋转角度，然后计算由瓷砖的轮廓图像到待识别图像的仿射变换的第二矩阵；基于所述第二矩阵将所述待识别图像及图像掩膜做同步仿射变换计算，得到旋转的图像掩膜与待识别图像，根据旋转的图像掩膜与待识别图像、最小外接矩形的中心、最小外接矩形的尺寸、对所述旋转的图像掩膜与待识别图像进行初步裁剪；利用预设阈值结合初步裁剪的待识别图像计算与初步裁剪的图像掩膜的尺寸大小，并基于尺寸大小裁剪所述待识别图像，或者变换为利用透视变换算法、图像掩膜裁剪算法中
至少一种去除...

【专利技术属性】
技术研发人员：萧礼标，袁华明，叶效强，潘文祺，
申请(专利权)人：蒙娜丽莎集团股份有限公司，
类型：发明
国别省市：