混合型深度学习视觉检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种混合型深度学习视觉检测方法、装置、设备及存储介质，涉及人工智能领域。所述方法包括：通过预设的训练数据集训练预设的卷积神经网络模型；将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型；将训练数据集的样本图片输入到目标卷积神经网络模型中，提取图片的图像特征值；将图像特征值输入到预设的聚类分类器中得到多个类别；确定类别与标签的映射关系；通过判断待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值从而判定所述待测样本图片的标签为合格品。通过实施该方法可有效应对不在训练数据集中出现的新的次品问题，提高质检的准确率和鲁棒性。提高质检的准确率和鲁棒性。提高质检的准确率和鲁棒性。

【技术实现步骤摘要】
混合型深度学习视觉检测方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种混合型深度学习视觉检测方法、装置、设备及存储介质。

技术介绍

[0002]焊接又称熔接、镕接，是一种以加热或加压方式接合金属或其他热塑性塑料的工艺及技术。焊接的实现方式主要有下面三种方式：
[0003]1.加热欲接合之工件使之局部熔化形成熔池，熔池冷却凝固后便接合，必要时可加入熔填物辅助，单独加热熔点较低的焊料，无需熔化工件本身，借焊料的毛细作用连接工件(如软钎焊、硬焊)。
[0004]2.在相当于或低于工件熔点的温度下辅以高压、叠合挤塑或振动等使两工件间相互渗透接合(如锻焊、固态焊接)。
[0005]3.依具体的焊接工艺，焊接可细分为气焊、电阻焊、电弧焊、感应焊接及激光焊接等其他特殊焊接。
[0006]焊接的能量来源有很多种，包括气体焰、电弧、激光、电子束、摩擦和超声波等。除了在工厂中使用外，焊接还可以在多种环境下进行，如野外、水下和太空。
[0007]随着人口老龄化现象的加剧和人力成本的逐渐增高，工业生产特别是制造业焊接领域的用工难问题日益严重，中国的焊工人数缺口高达数百万之多。
[0008]此外，焊接给操作者的健康带来危险，焊接给人体可能造成的伤害包括烧伤、触电、视力损害、吸入有毒气体、紫外线照射过度等。
[0009]为了提高生产安全和生产效率，工厂正在逐步使用焊接机器人替代工人焊接，来提高效率降低成本。目前利用焊接机器人对产品进行焊接的领域逐年增多，比如手机精密零部件焊接、汽车车身焊接等。
[0010]然而，焊接机器人往往缺少智能的感知系统，在稳定运行工作前需要机器人操作员进行调试，其中包括一整套机器人控制，工艺，焊接参数相关的设置工作。而且机器人在实际操作中往往缺少灵活性，比如遇到各种工差情况仍然会按照旧路径模式运行，极容易造成废件和不良品，降低生产效率并提高了生产成本。因此焊接机器人的智能化是一个迫在眉睫的需求。
[0011]焊接机器人的智能化主要分为4个主要部分：
[0012]一、指定焊接场景下的初始参数的设置：一套量化的工艺包，输入场景信息(焊接母材材料，厚度，焊接类型)，输出焊接参数(电流，电压，速度，保护气等)供操作员设置使焊接机器人开始有效运行，满足焊接质量标准。
[0013]二、焊接待作业工件焊接点/线的定位，识别定位工件或目标物的同时，有效指引机器臂，解决实际生产中精细化作业的需求。
[0014]三、焊接过程中的实时监控，通过对熔池状态进行检测，实时调整焊接速度和路径，从而保证焊接质量。
[0015]四、焊接后的质量检测，及时区分良品与不良品，将不良品进行返工，同时追踪问题来源，不断提高良品率。
[0016]上述二至四部分都需要大量结合计算视觉相关的技术好算法。
[0017]人工智能的研究始于上世纪50年代,但是一直受到软硬件两方面的技术局限。近年来，受益于大规模并行计算、GPU等加速单元的应用、大数据、深度学习算法的发展，计算成本大幅度降低，使得人工智能技术获得了突飞猛进的发展。
[0018]深度学习算法是当前人工智能最先进、应用最广泛的核心技术。深度神经网络模型得到的优异的实验结果让人们开始重新关注人工智能。之后，深度神经网络模型成为了人工智能领域的重要前沿阵地，深度学习算法模型也经历了一个快速迭代的周期，Deep Belief Network、Sparse Coding、Recursive Neural Network以及Convolutional Neural Network等各种新的算法模型被不断提出，而其中卷积神经网络(Convolutional Neural Network，CNN)更是成为图像识别最炙手可热的算法模型。目前，深度学习结合智能制造特别是需要用到“眼睛”的“奇点时刻”已经来临，尤其对于像制造业这类传统产业来说，利用成像设备进行视觉数据收集+深度学习人工智能分析进行转型升级，可以有效提高质量检测这一高用工需求的自动化水平。
[0019]然而深度学习视觉技术特别是卷积网络的训练需要大量的打好标签的数据，而现实场景中数据的采集是一项耗时耗力高成本的工作。当实际应用中如果出现的图像或数据是不在训练数据集中的情况时候，图像识别结果往往大打折扣。这个在质检这一应用上的问题尤为突出，因为好的产品是相似的，但是次品的问题点是千奇百怪难以穷尽的，因此当一个问题出现的时候，往往是之前没有遇到的情况，也自然不会出现在训练数据集中，这样对问题的识别准确度就会大打折扣，影响系统最终的表现。

技术实现思路

[0020]本专利技术实施例提供了一种混合型深度学习视觉检测方法、装置、设备及存储介质，旨在解决现有视觉检测方法对新类型的次品识别效率低下的问题。
[0021]第一方面，本专利技术实施例提供了一种混合型深度学习视觉检测方法，其包括：
[0022]通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；
[0023]将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；
[0024]将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；
[0025]将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；
[0026]确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；
[0027]若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；
[0028]判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预
设的距离阈值；
[0029]若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
[0030]第二方面，本专利技术实施例还提供了一种混合型深度学习视觉检测装置，其包括用于执行上述方法的单元。
[0031]第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0032]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。
[0033]本专利技术实施例提供了一种混合型深度学习视觉检测方法、装置、设备及存储介质。本专利技术方法是基于卷积神经网络，同时兼用监督式学习和非监督式学习两种方法进行学习训练，通过监督式学习提取关键图像特征，在通过非监督式学习进行聚类分类，从而可以有效应对不在训练数据集中出现的新的次品问题。本专利技术实施例由于采用混合型深度学习的方法，结合监督式学习和非监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合型深度学习视觉检测方法，其特征在于，包括：通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值；若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。2.根据权利要求1所述的混合型深度学习视觉检测方法，其特征在于，所述目标卷积神经网络模型的输出层为全连接层，所述目标卷积神经网络模型的输出层包含16-32组神经元。3.根据权利要求1所述的混合型深度学习视觉检测方法，其特征在于，所述卷积神经网络模型采用监督式学习训练方法进行训练。4.根据权利要求1所述的混合型深度学习视觉...

【专利技术属性】
技术研发人员：赵紫州，褚英昊，秦诗玮，何英杰，张中泰，
申请(专利权)人：深圳市微埃智能科技有限公司，
类型：发明
国别省市：