一种目标被遮挡的处理方法、装置、电子设备及存储介质制造方法及图纸

本申请属于图像处理技术领域，公开了一种目标被遮挡的处理方法、装置、电子设备及存储介质，其方法包括：获取被遮挡接口的接口图片和参考图片，提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，以提高被遮挡接口的定位精准度。的定位精准度。的定位精准度。

【技术实现步骤摘要】
一种目标被遮挡的处理方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种目标被遮挡的处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在工业制造领域中，基于机器人的自动化作业已被广泛应用,机器人在生产作业中逐步代替人工，在不同生产工序中都能持续完成毫米级甚至是亚毫米级的自动化作业。近年来，由于视觉技术的高速发展，机器人与视觉的结合给机器人带来智能化的提升，能出色完成多种实时的高精度检测与作业，在拓宽了机器人应用场景的同时也带来了许多新的任务挑战。
[0003]在各种电子硬件产品中，产品从生产到出库之前要经过测试以保证产品的合格，其中，硬件接口的种类与位置的多样性导致其需要高精度的插拔，现阶段对硬件接口的测试一般是通过人工进行线束插拔来连接或断开测试模块与产品的硬件接口，其人工成本比较高，因此，想要实现自动化，采用基于视觉伺服的机器人作业时，某些需要插拔线束的硬件接口被其他物体遮挡，譬如线束，导致机器人的视觉系统无法准确获取被线束遮挡的硬件接口的数据，其数据的不完整性会影响视觉检测和定位的效果，尤其是当硬件接口的线束插拔精度需求较高的时候，问题会更显突出，并且现有技术中无法实现对被遮挡的接口进行精确定位，因此，有必要对前端检测出来的被部分遮挡的线束接口进行自动分析、图像修复，从而提取被遮挡的接口信息，便于后端解决定位问题，从而实现自动插拔线束。
[0004]针对上述问题，目前尚未有有效的技术解决方案。

技术实现思路

[0005]本申请的目的在于提供一种目标被遮挡的处理方法、装置、电子设备及存储介质，对被遮挡的接口图片进行图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
[0006]第一方面，本申请提供了一种目标被遮挡的处理方法，应用于视觉检测系统，包括步骤：A1.获取被遮挡接口的接口图片和参考图片，并提取所述接口图片的光度图以及所述参考图片的参考光度图和参考色度图；A2.根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；A3.基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；A4.根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；A5.融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口
的去除遮挡物的第一输出图像。
[0007]本申请通过获取被遮挡接口的接口图片的光度图，并根据光度图获取光度梯度图，获取参考图片的参考光度图，并根据参考光度图获取参考光度梯度图，采用模板匹配方法，把光度梯度图和参考光度梯度图进行融合处理得到融合光度梯度图并获取对应的融合光度图，根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图，最后将融合光度图和融合色度图进行融合，从而得到对应的RGB图作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
[0008]优选地，所述获取被遮挡接口的接口图片的步骤包括：将包含所述被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取所述接口图片。
[0009]本申请采用预先训练好的卷积神经网络模型来快速获取接口图片，简化处理过程，提高工作效率。
[0010]优选地，所述参考色度图包括参考蓝色色度图和参考红色色度图。
[0011]优选地，步骤A2包括：依次以所述光度图和所述参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；根据以下公式分别计算各个所述第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：；；其中，是坐标为的所述第一目标像素点在X方向上的所述第一梯度值，是坐标为的所述第一目标像素点在Y方向上的所述第二梯度值,是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述第一目标像素点的总行数，是所述第一目标像素点的总列数；根据以下公式分别计算各个所述第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：；
；其中，是坐标为的所述第一目标参考像素点在X方向上的所述第一参考梯度值，是坐标为的所述第一目标参考像素点在Y方向上的所述第二参考梯度值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值，是所述第一目标参考像素点的总行数，是所述第一目标参考像素点的总列数；根据所述第一梯度值、所述第二梯度值、所述第一参考梯度值和所述第二参考梯度值，通过以下公式分别计算所述光度梯度图和所述参考光度梯度图的各像素点的像素值：；；其中，是所述光度梯度图的坐标为的像素点的像素值，是所述参考光度梯度图的坐标为的像素点的像素值。
[0012]优选地，所述融合色度图包括蓝色融合色度图和红色融合色度图；步骤A3包括：对所述光度梯度图和所述参考光度梯度图的像素点进行匹配，以确定所述光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；根据所述第一像素点的坐标和所述参考光度梯度图上与所述第一像素点匹配的第一匹配像素点的坐标，计算各所述第一像素点相对对应的所述第一匹配像素点之间的第一坐标偏移值和所述光度梯度图相对所述参考光度梯度图的整体坐标偏移值；根据以下公式计算所述融合光度梯度图、所述蓝色融合色度图和所述红色融合色度图各像素点的像素值：；；
；；其中，是所述光度梯度图的坐标为的像素点对应的参考系数，是所述融合光度梯度图的坐标为的像素点的像素值，是所述光度梯度图的坐标为的像素点的像素值，是所述参考光度梯度图的坐标为的像素点的像素值，是所述蓝色融合色度图的坐标为的像素点的像素值，是所述参考蓝色色度图的坐标为的像素点的像素值，是所述参考蓝色色度图的坐标为的像素点的像素值，是所述参考红色色度图的坐标为的像素点的像素值，是所述参考红色色度图的坐标为的像素点的像素值， 是所述红色融合色度图的坐标为的像素点的像素值，是坐标为的所述第一像素点对应的所述第一坐标偏移值，是所述整体坐标偏移值。
[0013]优选地，步骤A1包括：获取被遮挡接口的接口图片和参考图片；将所述接口图片转换到YCbCr图，以提取所述光度图；将所述参考图片转换到YCbCr图，以提取所述参考光度图和所述参考色度图；步骤A5包括：融合所述融合光度图和所述融合色度图以得到对应的YCbCr图，再转换成RGB图，并将所述RGB图作为被遮挡接口的去除遮挡物的第一输出图像。
[0014]优选地，所述根据所述融合光度梯度图获取对应的融合光度图的步骤包括：根据所述融合光度梯度图，采用泊松方程对所述融合光度梯度图进行最优解二维重构，得到融合光度图；对重构得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标被遮挡的处理方法，应用于视觉检测系统，其特征在于，包括步骤：A1.获取被遮挡接口的接口图片和参考图片，并提取所述接口图片的光度图以及所述参考图片的参考光度图和参考色度图；A2.根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；A3.基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；A4.根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；A5.融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。2.根据权利要求1所述的目标被遮挡的处理方法，其特征在于，所述获取被遮挡接口的接口图片的步骤包括：将包含所述被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取所述接口图片。3.根据权利要求1所述的目标被遮挡的处理方法，其特征在于，所述参考色度图包括参考蓝色色度图和参考红色色度图。4.根据权利要求3所述的目标被遮挡的处理方法，其特征在于，步骤A2包括：依次以所述光度图和所述参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；根据以下公式分别计算各个所述第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：；；其中，是坐标为的所述第一目标像素点在X方向上的所述第一梯度值，是坐标为的所述第一目标像素点在Y方向上的所述第二梯度值,是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述光度图的坐标为的像素点的像素值，是所述第一目标像素点的总行数，是所述第一目标像素点的总列数；根据以下公式分别计算各个所述第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：
；；其中，是坐标为的所述第一目标参考像素点在X方向上的所述第一参考梯度值，是坐标为的所述第一目标参考像素点在Y方向上的所述第二参考梯度值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值，是所述参考光度图的坐标为的像素点的像素值， 是所述参考光度图的坐标为的像素点的像素值， 是所述参考光度图的坐标为的像素点的像素值，是所述第一目标参考像素点的总行数，是所述第一目标参考像素点的总列数；根据所述第一梯度值、所述第二梯度值、所述第一参考梯度值和所述第二参考梯度值，通过以下公式分别计算所述光度梯度图和所述参考光度梯度图的各像素点的像素值：；；其中，是所述光度梯度图的坐标为的像素点的像素值，是所述参考光度梯度图的坐标为的像素点的像素值。5.根据权利要求4所述的目标被遮挡的处理方法，其特征在于，所述融合色度图包括蓝色融合色度图和红色融合色度图；步骤A3包括：对所述光度梯度图和所述参考光度梯度图的像素点进行匹配，以确定所述光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；根据所述...

【专利技术属性】
技术研发人员：蔡浩朗，张抱日，蒙象华，李佩，
申请(专利权)人：季华实验室，
类型：发明
国别省市：