生成缺陷图像样本的方法、装置、介质及程序产品制造方法及图纸

本申请公开了一种生成缺陷图像样本的方法、装置、介质及程序产品，涉及计算机视觉和深度学习等人工智能技术领域。该方法的一具体实施方式包括：获取目标图像，以及目标图像中绝缘子的缺陷部分对应的位置标签；确定目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，图块库由获取的第一缺陷图像样本中的图像块所构建；根据匹配度和预设的匹配度阈值，构建掩模矩阵；根据掩模矩阵和位置标签，确定目标图像中的绝缘子图像对应的无背景图像；根据绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本。

【技术实现步骤摘要】
生成缺陷图像样本的方法、装置、介质及程序产品
本申请涉及计算机
，具体涉及计算机视觉和深度学习等人工智能
，尤其涉及一种生成缺陷图像样本的方法、装置、介质及程序产品。
技术介绍
在高压输电线路中，绝缘子器件用于将导线固定在电杆并使导线与电杆等器件绝缘。绝缘子由于其诸多优点，例如，玻璃绝缘子和瓷瓶式绝缘子，以玻璃绝缘子为例，在当前的线路绝缘子用量中占据1/3左右。然而，一旦玻璃绝缘子器件中压应力和张应力的平衡被破坏，在应力作用下玻璃绝缘子器件会迅速产生裂纹，进而造成玻璃件粉碎，也即自爆。玻璃绝缘子自爆、断串一旦发生都将严重影响线路安全。因此，加强玻璃绝缘子巡视检查，在恶劣天气如雷击后应及时对输电线路进行特定巡检。在巡检输电线路过程中，由于玻璃绝缘子自爆仍然属于小概率事件。所以，通过人工巡检方式和无人机巡检方式获取的图像数据存在一个共同的问题就是玻璃绝缘子样本数据非常少。目前，通过基于几何变换的扩增方法和数据合成的扩增方法，为深度学习模型的缺陷检测提供大量的缺陷样本作为训练数据。
技术实现思路
本申请实施例提出了一种生成缺陷图像样本的方法、装置、介质及程序产品。第一方面，本申请实施例提出了一种生成缺陷图像样本的方法，包括：获取目标图像，以及目标图像中绝缘子的缺陷部分对应的位置标签；确定目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，图块库由获取的第一缺陷图像样本中的图像块所构建；根据匹配度和预设的匹配度阈值，构建掩模矩阵；根据掩模矩阵和位置标签，确定目标图像中的绝缘子图像对应的无背景图像；根据绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本。第二方面，本申请实施例提出了一种生成缺陷图像样本的装置，包括：图像获取模块，被配置成获取目标图像，以及目标图像中绝缘子的缺陷部分对应的位置标签；第一确定模块，被配置成确定目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，图块库由获取的第一缺陷图像样本中的图像块所构建；矩阵构建模块，被配置成根据匹配度和预设的匹配度阈值，构建掩模矩阵；第二确定模块，被配置成根据掩模矩阵和位置标签，确定目标图像中的绝缘子图像对应的无背景图像；样本生成模块，被配置成根据绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本。第三方面，本申请实施例提出了一种用于确定缺陷部分的模型的方法，包括：获取第二缺陷图像样本和第二缺陷图像样本中绝缘子的缺陷部分对应的位置标签；利用第二缺陷图像样本和位置标签进行训练，得到用于确定缺陷部分的模型。第四方面，本申请实施例提出了一种用于确定缺陷部分的模型的装置，包括：样本获取模块，被配置成获取第二缺陷图像样本和第二缺陷图像样本中绝缘子的缺陷部分对应的位置标签；模型训练模块，被配置成利用第二缺陷图像样本和位置标签进行训练，得到用于确定缺陷部分的模型。第五方面，本申请实施例提出了一种用于预测缺陷部分对应的位置标签的方法，包括：获取待预测图像；将待预测图像输入预先训练的用于确定缺陷部分的模型中，得到待预测图像中绝缘子的缺陷部分对应的位置标签。第六方面，本申请实施例提出了一种用于预测缺陷部分对应的位置标签的装置，包括：图像获取模块，被配置成获取待预测图像；标签预测模块，被配置成将待预测图像输入预先训练的用于确定缺陷部分的模型中，得到待预测图像中绝缘子的缺陷部分对应的位置标签。第七方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面、第三方面或第五方面描述的方法。第八方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面、第三方面或第五方面描述的方法。第九方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面、第三方面或第五方面描述的方法。本申请实施例提供的生成缺陷图像样本的方法、装置、介质及程序产品，先获取目标图像，以及所述目标图像中绝缘子的缺陷部分对应的位置标签；之后，确定所述目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，所述图块库由获取的第一缺陷图像样本中的图像块所构建；之后，根据所述匹配度和预设的匹配度阈值，构建掩模矩阵；之后，根据所述掩模矩阵和所述位置标签，确定所述目标图像中的绝缘子图像对应的无背景图像；之后，根据所述绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本；通过在现有标注的少样本缺陷数据中，自动提取绝缘子信息，与相关技术相比，去除了背景对绝缘子的干扰，能够生成大量逼真的新样本。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的生成缺陷图像样本的方法的一个实施例的流程图；图3为生成第二缺陷图像样本的示意图；图4是生成对抗网络的示意图；图5是根据本申请的用于确定缺陷部分的模型的方法的一个实施例的流程图；图6是根据本申请的用于预测缺陷部分对应的位置标签的方法的一个实施例的流程图；图7是根据本申请的生成缺陷图像样本的装置的一个实施例的结构示意图；图8是根据本申请的用于确定缺陷部分的模型的装置的一个实施例的结构示意图；图9是根据本申请的用于预测缺陷部分对应的位置标签的装置的一个实施例的结构示意图；图10是用来实现本申请实施例的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的生成缺陷图像样本的方法和装置、用于确定缺陷部分的模型的方法和装置，或用于预测缺陷部分对应的位置标签的方法和装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103、服务器105任意两个之间提供通信链路的介质。网络104可以包括各种连接类别，例如有线、无线通信链路或者光纤电本文档来自技高网...

【技术保护点】
1.一种生成缺陷图像样本的方法，包括：/n获取目标图像，以及所述目标图像中绝缘子的缺陷部分对应的位置标签；/n确定所述目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，所述图块库由获取的第一缺陷图像样本中的图像块所构建；/n根据所述匹配度和预设的匹配度阈值，构建掩模矩阵；/n根据所述掩模矩阵和所述位置标签，确定所述目标图像中的绝缘子图像对应的无背景图像；/n根据所述绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本。/n

【技术特征摘要】
1.一种生成缺陷图像样本的方法，包括：
获取目标图像，以及所述目标图像中绝缘子的缺陷部分对应的位置标签；
确定所述目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，所述图块库由获取的第一缺陷图像样本中的图像块所构建；
根据所述匹配度和预设的匹配度阈值，构建掩模矩阵；
根据所述掩模矩阵和所述位置标签，确定所述目标图像中的绝缘子图像对应的无背景图像；
根据所述绝缘子图像对应的无背景图像和预设的正常图像样本，生成第二缺陷图像样本。


2.根据权利要求1所述的方法，其中，所述根据所述匹配度和预设的匹配度阈值，构建掩模矩阵，包括：
将所述匹配度和预设的匹配度阈值进行比较，确定匹配结果；
根据所述匹配结果，构建掩模矩阵。


3.根据权利要求2所述的方法，其中，所述根据所述匹配结果，构建掩模矩阵，包括：
将所述掩模矩阵中的值设置为与所述匹配结果对应的值。


4.根据权利要求3所述的方法，若所述目标图像中的图像块包括第一图像块和第二图像块，所述匹配度包括：所述第一图像块与所述图块库中的图像块之间的第一匹配度，以及所述第二图像块与所述图块库中的图像块之间的第二匹配度；
所述将所述掩模矩阵中的值设置为与所述匹配结果对应的值，包括：
响应于第一匹配结果为所述第一匹配度满足预设的匹配度阈值，将所述掩模矩阵中的第一值设置为与所述第一匹配结果对应的值；
响应于第二匹配结果为所述第二匹配度不满足预设的匹配度阈值，将所述掩模矩阵中的第二值设置为与所述第二匹配结果对应的值。


5.根据权利要求1所述的方法，其中，所述根据所述掩模矩阵和所述位置标签，确定所述目标图像中的绝缘子图像对应的无背景图像，包括：
根据所述掩模矩阵和所述目标图像的交集，确定所述目标图像对应的无背景图像；
根据所述目标图像对应的无背景图像和所述位置标签，确定分割后的绝缘子图像对应的无背景图像。


6.根据权利要求1-5任一项所述的方法，所述方法还包括：
将所述目标图像和所述第二缺陷图像样本输入预先训练的生成对抗网络中，将所述目标图像的风格迁移至所述第二缺陷图像样本，得到风格迁移后的缺陷图像样本。


7.根据权利要求6所述的方法，其中，所述生成对抗网络包括学习周期一致的变换函数F和G。


8.根据权利要求1所述的方法，其中，所述图块库基于以下步骤确定：
获取第一缺陷图像样本中绝缘子的缺陷部分对应的位置标签；
根据所述第一缺陷图像样本中绝缘子的缺陷部分对应的位置标签，确定所述第一缺陷图像样本中绝缘子的相对位置；
在所述相对位置处，利用绝缘子的色彩区间对所述第一缺陷图像样进行采样，以确定绝缘子在所述第一缺陷图像样本上的位置信息；
将所述位置信息所对应的绝缘子图像划分为多个图像块；
基于所述多个图像块，构建所述图块库。


9.一种用于确定缺陷部分的模型的方法，包括：
获取第二缺陷图像样本和所述第二缺陷图像样本中绝缘子的缺陷部分对应的位置标签；
利用所述第二缺陷图像样本和所述位置标签进行训练，得到用于确定缺陷部分的模型。


10.一种用于预测缺陷部分对应的位置标签的方法，包括：
获取待预测图像；
将所述待预测图像输入预先训练的用于确定缺陷部分的模型中，得到所述待预测图像中绝缘子的缺陷部分对应的位置标签。


11.一种生成缺陷图像样本的装置，包括：
图像获取模块，被配置成获取目标图像，以及所述目标图像中绝缘子的缺陷部分对应的位置标签；
第一确定模块，被配置成确定所述目标图像中的图像块与预设的图块库中的图像块之间的匹配度，其中，所述图块库由获取的第一缺陷图像样本中的图像块所构建；
矩阵构建模块，被配置成根据所述匹配度和预设的匹配度阈值，构建掩模矩阵；
第二确定模块，被配置成根据所述掩模矩阵和所述位置标签，...

【专利技术属性】
技术研发人员：刘静伟，谷祎，韩树民，王晓迪，辛颖，冯原，郑弘晖，龙翔，张滨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11