一种困难样本筛选方法及装置制造方法及图纸

本发明专利技术实施例公开一种困难样本筛选方法及装置，该方法包括：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度；提取每一第一漏检目标区域图像的图像特征；基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，对应关系包括已标注图像的图像特征及其对应标签之间的对应关系；将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像，以实现自动化地筛选出困难样本。

【技术实现步骤摘要】
一种困难样本筛选方法及装置
本专利技术涉及智能驾驶
，具体而言，涉及一种困难样本筛选方法及装置。
技术介绍
深度学习依赖于大量的训练数据即样本，但是当样本的数量达到一定规模后，不同的新增样本图像对模型性能提升的潜力是不一样的。对于目标检测(ObjectDetection，也称物体检测)模型而言，困难样本即包含漏检目标和误检目标的样本，都是对提升目标检测模型的性能很有价值的数据。为了在一定程度上提升目标检测模型的性能，需要尽可能优先获取作为困难样本的样本，以利用困难样本训练优化相应的目标检测模型。那么，如何自动化地从样本中筛选出困难样本成为亟待解决的问题。
技术实现思路
本专利技术提供了一种困难样本筛选方法及装置，以实现自动化地筛选出困难样本。具体的技术方案如下：第一方面，本专利技术实施例提供了一种困难样本筛选方法，包括：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。可选的，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。可选的，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。可选的，所述基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。可选的，所述基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。可选的，所述利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像的步骤，包括：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。可选的，在所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤之前，所述方法还包括：建立对应关系的过程，其中，所述过程包括：获得建立图像以及每一建立图像对应的标注信息，其中，所述标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息；利用所述目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及所述至少一个第二漏检目标区域图像对应的检测位置信息，其中，所述至少一个第二漏检目标区域图像为所对应置信度低于所述预设阈值的区域图像；对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征；针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。可选的，所述针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系的步骤，包括：针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；若第二漏检目标区域图像对应的交并比不小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；若第二漏检目标区域图像对应的交并比小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到所述对应关系。第二方面，本专利技术实施例提供了一种困难样本筛选装置，包括：第一确定模块，被配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；第二确定模块，被本文档来自技高网...

【技术保护点】
1.一种困难样本筛选方法，其特征在于，包括：/n利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；/n对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；/n基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；/n将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。/n

【技术特征摘要】
1.一种困难样本筛选方法，其特征在于，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。


2.如权利要求1所述的方法，其特征在于，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。


3.如权利要求2所述的方法，其特征在于，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。


4.如权利要求3所述的方法，其特征在于，所述基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。


5.如权利要求2所述的方法，其特征在于，所述基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；
若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。


6.如权利要求1-5任一项所述的方法，其特征在于，所述利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像的步骤，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该...

【专利技术属性】
技术研发人员：马贤忠，董维山，江浩，胡皓瑜，范一磊，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏;32