困难样本获取方法、装置、设备及可读存储介质制造方法及图纸

本申请实施例提供一种困难样本获取方法、装置、设备及可读存储介质，第二电子设备对目标图像进行识别得到第二识别结果后，将目标图像和第二识别结果发送给第一电子设备。第一电子设备对目标图像进行识别得到第二识别结果，根据第一识别结果和第二识别结果确定目标图像是否为困难样本。采用该种方案，通过不同电子设备对同一图像进行识别以挖掘困难样本，提升困难样本的覆盖范围的同时，降低挖掘困难样本的难度和工作量。本的难度和工作量。本的难度和工作量。

【技术实现步骤摘要】
困难样本获取方法、装置、设备及可读存储介质


[0001]本申请涉及深度学习
，尤其涉及一种困难样本获取方法、装置、设备及可读存储介质。

技术介绍

[0002]目前，深度学习是机器学习技术的一个重要分支。深度学习是对训练数据集不断训练，以得到深度学习模型的过程。深度学习模型的质量严重依赖于训练数据集中训练样本的数量和训练样本的质量。
[0003]通常而言，训练样本包括简单样本和困难样本。当训练数据集中简单样本的数量达到一定程度后，深度学习模型的精度主要取决于困难样本。为获取困难样本，常见的方式是对训练数据集中的样本进行权重调整从而发现困难样本。
[0004]上述发现困难样本的方式，由于基于固定的训练数据集，而固定的训练数据集的覆盖范围往往是有限的。因此，上述困难样本发现方式无法保证困难样本的覆盖范围，进而导致深度学习模型精度低且场景适应性差。

技术实现思路

[0005]本申请实施例提供一种困难样本获取方法、装置、设备及可读存储介质，基于边云协同的网络架构发现困难样本，得到覆盖范围广的困难样本，降低困难样本的获取难度，进而提升深度学习模型的精度和场景适应性。
[0006]第一方面，本申请实施例提供一种困难样本获取方法，该方法应用于第一电子设备或第一电子设备中的芯片，下面以应用于第一电子设备为例对该方法进行描述，该方法包括：第一电子设备接收来自第二电子设备的目标图像和第二识别结果，该第二识别结果是第二电子设备对目标图像进行识别得到的。之后，第一电子设备对目标图像进行识别得到第二识别结果，根据第一识别结果和第二识别结果确定目标图像是否为困难样本。采用该种方案，通过不同电子设备对同一图像进行识别以挖掘困难样本，提升困难样本的覆盖范围的同时，降低挖掘困难样本的难度和工作量。
[0007]一种可行的设计中，上述的第一识别结果是第一电子设备利用第一模型对目标图像进行识别得到的，上述的第二识别结果是第二电子设备利用第二模型对目标图像进行识别得到的，第一模型和第二模型为不同的模型。采用该种方案，通过在不同电子设备上部署不同的模型，利用不同的模型对同一图像进行识别以挖掘困难样本，提升困难样本的覆盖范围的同时，降低挖掘困难样本的难度和工作量。
[0008]一种可行的设计中，上述的第一电子设备为云端设备，上述的第二电子设备为智能终端；或者，上述的第一电子设备为云端设备，上述的第二电子设备为汇聚设备，智能终端通过汇聚设备与云端设备建立网络连接；或者，上述的第一电子设备和第二电子设备为不同的智能终端；或者，上述的第一电子设备和第二电子设备为不同的汇聚设备。采用该种方案，本申请实施例提供的困难样本获取方法适用于各种网络架构，因此，本申请实施例提
供的困难样本获取方法能够降低困难样本获取的工作量和工作难度。
[0009]一种可行的设计中，第一电子设备根据第一识别结果和第二识别结果，确定目标图像是否为困难样本时，判断第一识别结果和第二识别结果的相似度。当第一识别结果和第二识别结果的相似度小于预设阈值时，第一电子设备确定目标图像为困难样本。若第一识别结果和第二识别结果的相似度大于或等于预设阈值，则第一电子设备认为第一识别结果和第二识别结果基本一致，此时，第一电子设备将目标图像作为常规样本。
[0010]一种可行的设计中，第一电子设备通过如下方式判断第一识别结果和第二识别结果的相似度：第一电子设备先从第二识别结果中确定出第二对象的第二检测框，第二对象是目标图像包含的对象。然后，第一电子设备从第一识别结果中确定出第一对象的第一检测框，第一对象和第二对象属于类型相同的对象。最后，第一电子设备根据第一检测框和第二检测框的相似度，确定第一识别结果和第二识别结果的相似度。采用该种方案，实现灵活确定第一识别结果和第二识别结果的相似度的目的。
[0011]一种可行的设计中，当第二对象为多个时，第一电子设备根据第一检测框和第二检测框的相似度，确定第一识别结果和第二识别结果的相似度时，对于每一个第二对象，第一电子设备确定该第一对象的第一检测框和第二对象的第二检测框的相似度，以得到多个相似度。接着，第一电子设备确定多个相似度的平均值，以得到平均相似度。最后，第一电子设备根据平均相似度确定第一识别结果和第二识别结果的相似度。例如，第一电子设备将平均相似度作为第一结果和第二结果的相似度。采用该种方案，实现灵活确定第一识别结果和第二识别结果的相似度的目的。
[0012]一种可行的设计中，第一电子设备通过如下方式接收第二电子设备发送的目标图像和第二识别结果：第一电子设备接收第二电子设备发送的待处理数据，该待处理数据携带目标图像和第二识别结果。之后，第一电子设备对待处理数据进行数据分离，以得到目标图像和第二识别结果。采用该种方案，第一电子设备将从同一个待处理数据中分离出的第二识别结果和目标图像作为一组数据，避免数据混乱。
[0013]一种可行的设计中，第一电子设备根据第一识别结果和第二识别结果，确定目标图像是否为困难样本之后，还利用包含困难样本的训练数据集训练初始模型，以得到深度学习模型。采用该种方案，第一电子设备对目标图像进行识别得到第一识别结果，进而利用第一识别结果挖掘困难样本，实现降低挖掘困难样本的难度和工作量的目的。
[0014]一种可行的设计中，第一电子设备识别目标图像，得到第一识别结果时，从目标图像中确定出至少一个第一对象；确定至少一个第一对象中各第一对象的第一类型，以及各第一对象的第一检测框，第一识别结果包含至少一个第一对象中各第一对象的第一检测框，以及第一对象中各第一对象的第一类型，第一对象的第一检测框用于指示第一对象在目标图像中的位置。采用该种方案，第一电子设备对目标图像进行识别得到第一识别结果，进而利用第一识别结果挖掘困难样本，实现降低挖掘困难样本的难度和工作量的目的。
[0015]第二方面，本申请实施例提供一种困难样本获取方法，该方法应用于第二电子设备或第二电子设备中的芯片，下面以应用于第二电子设备为例对该方法进行描述，该方法包括：第二电子设备对目标图像进行识别得到第二识别结果后，将目标图像和第二识别结果发送给第一电子设备。第一电子设备对目标图像进行识别得到第二识别结果，根据第一识别结果和第二识别结果确定目标图像是否为困难样本。采用该种方案，通过不同电子设
备对同一图像进行识别以挖掘困难样本，提升困难样本的覆盖范围的同时，降低挖掘困难样本的难度和工作量。
[0016]一种可行的设计中，上述的第一识别结果是第一电子设备利用第一模型对目标图像进行识别得到的，上述的第二识别结果是第二电子设备利用第二模型对目标图像进行识别得到的，第一模型和第二模型为不同的模型。采用该种方案，通过在不同电子设备上部署不同的模型，利用不同的模型对同一图像进行识别以挖掘困难样本，提升困难样本的覆盖范围的同时，降低挖掘困难样本的难度和工作量。
[0017]一种可行的设计中，上述的第一电子设备为云端设备，上述的第二电子设备为智能终端；或者，上述的第一电子设备为云端设备，上述的第二电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种困难样本获取方法，其特征在于，包括：第一电子设备接收第二电子设备发送的目标图像和第二识别结果，所述第二识别结果是所述第二电子设备对所述目标图像进行识别得到的；所述第一电子设备识别所述目标图像，得到第一识别结果；所述第一电子设备根据所述第一识别结果和所述第二识别结果，确定所述目标图像是否为困难样本。2.根据权利要求1所述的方法，其特征在于，所述第一识别结果是所述第一电子设备利用第一模型对所述目标图像进行识别得到的，所述第二识别结果是所述第二电子设备利用第二模型对所述目标图像进行识别得到的，所述第一模型和所述第二模型为不同的模型。3.根据权利要求1或2所述的方法，其特征在于，所述第一电子设备为云端设备，所述第二电子设备为智能终端；或者，所述第一电子设备为云端设备，所述第二电子设备为汇聚设备，所述智能终端通过所述汇聚设备与所述云端设备建立网络连接；或者，所述第一电子设备和所述第二电子设备为不同的智能终端；或者，所述第一电子设备和所述第二电子设备为不同的汇聚设备。4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一电子设备根据所述第一识别结果和所述第二识别结果，确定所述目标图像是否为困难样本，包括：所述第一电子设备判断所述第一识别结果和所述第二识别结果的相似度；当所述第一识别结果和所述第二识别结果的相似度小于预设阈值时，所述第一电子设备确定所述目标图像为困难样本。5.根据权利要求4所述的方法，其特征在于，所述第一电子设备判断所述第一识别结果和所述第二识别结果的相似度，包括：所述第一电子设备从所述第二识别结果中确定出第二对象的第二检测框，所述第二对象是所述目标图像包含的对象；所述第一电子设备从所述第一识别结果中确定出第一对象的第一检测框，所述第一对象和所述第二对象属于类型相同的对象；所述第一电子设备根据所述第一检测框和所述第二检测框的相似度，确定所述第一识别结果和所述第二识别结果的相似度。6.根据权利要求1-4任一项所述的方法，其特征在于，所述第一电子设备识别所述目标图像，得到第一识别结果，包括：所述第一电子设备从所述目标图像中确定出至少一个第一对象；所述第一电子设备确定所述至少一个第一对象中各第一对象的第一类型，以及各第一对象的第一检测框，所述第一识别结果包含所述至少一个第一对象中各第一对象的第一检测框，以及所述第一对象中各第一对象的第一类型，所述第一对象的第一检测框用于指示所述第一对象在所述目标图像中的位置。
7.一种困难样本获取方法，其特征在于，包括：第二电子设备获取目标图像；所述第二电子设备识别目标图像以得到第二识别结果；所述第二电子设备向第一电子设备发送所述目标图像和所述第二识别结果，所述第二识别结果用于使得所述第一电子设备判断所述目标图像是否为困难样本。8.根据权利要求7所述的方法，其特征在于，所述第一电子设备上部署第一模型，所述第二电子设备上部署第二模型，所述第二识别结果所述第二电子设备利用所述第二模型对所述目标图像进行识别得到的，所述第一模型和所述第二模型为不同的模型。9.根据权利要求7或8所述的方法，其特征在于，所述第一电子设备为云端设备，所述第二电子设备为智能终端；或者，所述第一电子设备为云端设备，所述第二电子设备为汇聚设备，所述智能终端通过所述汇聚设备与所述云端设备建立网络连接；或者，所述第一电子设备和所述第二电子设备为不同的智能终端；或者，所述第一电子设备和所述第二电子设备为不同的汇聚设备。10.根据权利要求7-9任一项所述的方法，其特征在于，所述第二电子设备获取目标图像，包括：接收多个图像帧；确定所述多个图像帧中的每个图像帧的质量分，所述多个图像中每个图像帧的质量分是根据第三对象在对应图像帧中的位置、清晰度或面积中的至少一个确定的，所述第三对象是所述图像帧中的任意一个对象；确定质量分超过预设分数的图像帧为所述第三对象的目标图像。11.根据权利要求7-10任一项所述的方法，其特征在于，所述第二电子设备识别目标图像以得到第二识别结果，包括：所述第二电子设备从所述目标图像中确定出至少一个第二对象；所述第二电子设备确定所述至少一个第二对象中各第二对象的第一类型，以及各第二对象的第二检测框，所述第二识别结果包含所述至少一个第二对象中各第二对象的第二检测框，以及所述第二对象中各第二对象的第二类型，所述第二对象的第二检测框用于指示所述第二对象在所述目标图像中的位置。12.一种困难样本...

【专利技术属性】
技术研发人员：王建辉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：