吸盘作业周期生成方法、存储介质、电子设备及装置制造方法及图纸

本申请涉及一种吸盘作业周期生成方法、存储介质、电子设备及装置。方法包括：获取图像集；针对每个图像，获得该图像对应的吸盘检测框和车厢区域检测框和分别计算其之间的交集和并集，以及计算该交集和该并集的比值作为该图像的交互比；通过比较每个图像的交互比和预设交互比阈值从而筛选出多个有效图；和基于多个有效图确定吸盘相对于车厢区域运动的至少一个吸盘作业周期。其中，吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，该改进交互比包括第一部分和第二部分，该第一部分是交集和并集的比值，该第二部分用于表征该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。如此提高预测准确率。预测准确率。预测准确率。

【技术实现步骤摘要】
吸盘作业周期生成方法、存储介质、电子设备及装置


[0001]本申请涉及计算机视觉
，具体涉及一种吸盘作业周期生成方法、存储介质、电子设备及装置。

技术介绍

[0002]随着人工智能技术和计算机视觉技术的发展，通过机器学习模型来进行人脸识别、身份检判的方式已经在交通出行和安防监控等领域取得了广泛应用。工业应用中特别是废弃钢材的回收环节，需要通过计算机视觉技术和机器学习技术实现对待搬运的废弃钢材的自动识别。其中涉及识别用于搬运废弃钢材的电磁铁吸盘(也可以称之为吸盘)相对于装载废弃钢材的车辆的车体的相对运动，例如需要识别出吸盘靠近车体然后吸附一部分废弃钢材最后远离车体的情况。因此，为了实现废弃钢材的搬运过程的自动化智能识别，需要建立起关于吸盘相对于车体的相对运动的作业周期，也称之为吸盘作业周期。为此，需要一种吸盘作业周期生成方法、存储介质、电子设备及装置，能够实现精确识别并生成吸盘作业周期。

技术实现思路

[0003]第一方面，本申请实施例提供了一种吸盘作业周期生成方法。所述吸盘作业周期生成方法包括：获取图像集，该图像集的图像分别在不同时刻采集；针对该图像集的每个图像，获得该图像对应的吸盘检测框和车厢区域检测框，分别计算所述吸盘检测框和所述车厢区域检测框之间的交集和并集，以及计算该交集和该并集的比值作为该图像的交互比，其中，该图像对应的吸盘检测框通过将该图像输入吸盘检测模型获得；通过比较该图像集的每个图像的交互比和预设交互比阈值来判断该图像是否为有效图，从而从所述图像集中筛选出多个有效图；和基于所述多个有效图确定吸盘相对于车厢区域运动的至少一个吸盘作业周期。其中，所述吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，该训练图像集的每个训练图像各自的改进交互比包括第一部分和第二部分，该第一部分是该训练图像对应的吸盘标签和车厢区域标签之间的交集和并集的比值，该第二部分用于表征该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。
[0004]第一方面所描述的技术方案，基于图像集的每个图像的交互比和与该图像对应的状态信息来筛选有效图，实现了精简计算过程同时为确定吸盘作业周期提供了依据，并且通过训练图像的改进交互比对吸盘检测模型的训练过程做出优化设计，提供了距离测度和更好的优化效果从而提高模型的预测准确率。
[0005]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像集的图像通过同一图像采集设备采集并且所述图像集的至少两个图像通过该同一个图像采集设备按照不同缩放尺度或者不同距离采集。
[0006]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像集的图像通过同一图像采集设备采集，并且在所述图像采集设备采集所述图像集的图
像的过程中，所述图像采集设备的缩放尺度和/或所述图像采集设备的采集距离可调整。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述吸盘检测模型包括yolov3目标检测模型、yolov4目标检测模型或者yolov5目标检测模型。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，该训练图像集的每个训练图像各自的改进交互比的第二部分基于该训练图像对应的吸盘标签和车厢区域标签之间的并集和包括该训练图像对应的吸盘标签和车厢区域标签的最小外接矩形。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，该训练图像集的每个训练图像各自的改进交互比满足特定数学关系。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，基于该训练图像集的每个训练图像各自的改进交互比的损失函数满足特定数学关系。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述吸盘检测模型利用基于该训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，包括：当特定训练图像的改进交互比的第一部分为零时，通过该特定训练图像的改进交互比的第二部分所表征的该特定训练图像对应的吸盘标签和车厢区域标签之间的距离测度对所述吸盘检测模型进行优化。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，通过比较所述图像集的每个图像的交互比和所述预设交互比阈值来判断该图像是否为有效图，包括：针对所述图像集的每个图像，当该图像的交互比小于所述预设交互比阈值并且与该图像对应的状态信息不同于留存状态信息时，判断该图像为有效图像并且用与该图像对应的状态信息更新该留存状态信息。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述吸盘作业周期生成方法还包括：通过去重模型对所述图像集进行去重操作从而删除所述图像集中相似度高于预设的相似度阈值的图像。
[0014]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像集的图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。
[0015]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述吸盘作业周期生成方法用于废钢料件集合的搬运作业，所述吸盘用于搬运所述废钢料件集合，所述车厢区域指示用于装载所述废钢料件集合的车辆的车厢，所述废钢料件搬运作业是所述吸盘将所述车厢上的所述废钢料件集合经过所述至少一个吸盘作业周期全部搬运离开所述车厢。
[0016]第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的吸盘作业周期生成方法。
[0017]第二方面所描述的技术方案，基于图像集的每个图像的交互比和与该图像对应的状态信息来筛选有效图，实现了精简计算过程同时为确定吸盘作业周期提供了依据，并且通过训练图像的改进交互比对吸盘检测模型的训练过程做出优化设计，提供了距离测度和更好的优化效果从而提高模型的预测准确率。
[0018]第三方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的吸盘作业周期生成方法。
[0019]第三方面所描述的技术方案，基于图像集的每个图像的交互比和与该图像对应的状态信息来筛选有效图，实现了精简计算过程同时为确定吸盘作业周期提供了依据，并且通过训练图像的改进交互比对吸盘检测模型的训练过程做出优化设计，提供了距离测度和更好的优化效果从而提高模型的预测准确率。
[0020]第四方面，本申请实施例提供了一种计算机程序，所述计算机程序被处理器执行以使得该处理器执行根据第一方面中任一项所述的吸盘作业周期生成方法。
[0021]第四方面所描述的技术方案，基于图像集的每个图像的交互比和与该图像对应的状态信息来筛选有效图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种吸盘作业周期生成方法，其特征在于，所述吸盘作业周期生成方法包括：获取图像集，该图像集的图像分别在不同时刻采集；针对该图像集的每个图像，获得该图像对应的吸盘检测框和车厢区域检测框，分别计算所述吸盘检测框和所述车厢区域检测框之间的交集和并集，以及计算该交集和该并集的比值作为该图像的交互比，其中，该图像对应的吸盘检测框通过将该图像输入吸盘检测模型获得；通过比较该图像集的每个图像的交互比和预设交互比阈值来判断该图像是否为有效图，从而从所述图像集中筛选出多个有效图；和基于所述多个有效图确定吸盘相对于车厢区域运动的至少一个吸盘作业周期，其中，所述吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，该训练图像集的每个训练图像各自的改进交互比包括第一部分和第二部分，该第一部分是该训练图像对应的吸盘标签和车厢区域标签之间的交集和并集的比值，该第二部分用于表征该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。2.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，所述图像集的图像通过同一图像采集设备采集并且所述图像集的至少两个图像通过该同一个图像采集设备按照不同缩放尺度或者不同距离采集。3.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，所述图像集的图像通过同一图像采集设备采集，并且在所述图像采集设备采集所述图像集的图像的过程中，所述图像采集设备的缩放尺度和/或所述图像采集设备的采集距离可调整。4.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，所述吸盘检测模型包括yolov3目标检测模型、yolov4目标检测模型或者yolov5目标检测模型。5.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，该训练图像集的每个训练图像各自的改进交互比的第二部分基于该训练图像对应的吸盘标签和车厢区域标签之间的并集和包括该训练图像对应的吸盘标签和车厢区域标签的最小外接矩形。6.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，该训练图像集的每个训练图像各自的改进交互比满足以下关系：其中，GIOU是该训练图像的改进交互比，M是该训练图像对应的吸盘标签和车厢区域标签之间的交集，N是该训练图像对应的吸盘标签和车厢区域标签之间的并集，C是包括该训练图像对应的吸盘标签和车厢区域标签的最小外接矩形。7.根据权利要求6所述的吸盘作业周期生成方法，其特征在于，基于该训练图像集的每个训练图像各自的改进交互比的损失函数满足以下关系：LOSS＝1
‑
GIOU其中，GIOU是该训练图像的改进交互比，LOSS是基于该训练图像的改进交互比的损失函数。8.根据权利要求7所述的吸盘作业周期生成方法，其特征在于，所述吸盘检测模型利用基于该训练图像集的每个训练图像各自的改进交互比的损失函数进行训练，包括：当特定训练图像的改进交互比的第一部分为零时，通过该特定训练图像的改进交互比
的第二部分所表征的该特定训练图像对应的吸盘标签和车厢区域标签之间的距离测度对所述吸盘检测模型进行优化。9.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，通过比较所述图像集的每个图像的交互比和所述预设交互比阈值来判断该图像是否为有效图，包括：针对所述图像集的每个图像，当该图像的交互比小于所述预设交互比阈值并且与该图像对应的状态信息不同于留存状态信息时，判断该图像为有效图像并且用与该图像对应的状态信息更新该留存状态信息。10.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，所述吸盘作业周期生成方法还包括：通过去重模型对所述图像集进行去重操作从而删除所述图像集中相似度高于预设的相似度阈值的图像。11.根据权利要求1所述的吸盘作业周期生成方法，其特征在于，所述图像集的图像...

【专利技术属性】
技术研发人员：孙军欢，张春海，冀旭，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：