【技术实现步骤摘要】
本申请涉及深度学习，尤其涉及一种深度学习训练数据采样方法、系统、装置及存储介质。
技术介绍
1、当下，基于深度学习的目标检测算法广泛应用于办公、教育、安防、服务机器人、无人机、自动驾驶、智能家居等多个领域。模型的性能直接影响产品的功能体验，因此如何提高模型性能一直是研发人员关注的重点。
2、在深度学习算法的开发过程中，常常会遇到模型在某些场景表现不佳的情况。传统方法是通过采集相关场景的视频数据，对视频进行采样以获得待标注的图像，然后对这些图像进行标注，并将标注后的数据添加到训练集中，然后重新训练模型。
3、视频采样通常涉及固定时间间隔、帧间隔、关键帧(i帧)或场景转换帧的抽取。另一种方法是自适应采样，根据目标的运动速度或场景变化幅度来动态调整采样间隔。在这个过程中，也需要进行图像筛选，以排除相似度过高或图像质量差的帧。
4、然而，当模型在大多数情况下表现良好，只在个别帧或时间段出现误检或漏检时，传统的采样方式可能不再适用。此时，用模型对视频逐帧进行推理，并人工筛选出表现不佳的帧可能是一种解决方法，但效率较低且耗时。
5、另一种方法是将目标检测与目标跟踪结合，以更准确地确定模型何时出现误检或漏检。然而，这种方法有时会误判，并且不能涵盖所有情况。
6、综合考虑，需要探索更智能、高效的数据采样和训练策略，包括在线学习、主动学习、人工辅助标注、数据增强、自动化数据筛选、强化学习和领域适应等方法，以提高深度学习目标检测模型在实际应用中的性能。这些方法的选择应根据具体问题和可用资源
技术实现思路
1、为了解决上述技术问题，本申请提供了一种深度学习训练数据采样方法、系统、装置及存储介质。下面对本申请中的技术方案进行描述：
2、本申请第一方面提供了一种深度学习训练数据采样方法所述方法包括：
3、确定待检测目标；
4、利用目标检测技术对每一帧中的待检测目标进行跟踪，得到所述待检测目标的状态信息；
5、根据所述状态信息判断跟踪过程是否发生符合预定义的状态转换事件；
6、若确定发生符合预定义的状态转换事件，则对相应的目标视频帧进行标记；
7、对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据。
8、可选的，所述状态信息包括匹配次数、匹配状态和跟踪状态，所述匹配状态为视频帧中的待检测目标是否被关联至目标检测框，所述跟踪状态为对所述待检测目标的确认情况，所述跟踪状态包括已确认、未确认和已删除，所述匹配状态包括匹配和未匹配。
9、可选的，所述状态转换事件包括：
10、事件一：在时间段一、时间段二和时间段三内，所述匹配状态对应发生匹配—未匹配—再次匹配的状态转换过程，所述跟踪状态由未确认转换为已确认；
11、可选的，所述状态转换事件包括：
12、事件二：在时间段一、时间段二和时间段三内，所述匹配状态发生匹配—未匹配—被删除的状态转换过程，所述跟踪状态由未确认转换为已确认再转换为已删除；
13、可选的，所述状态转换事件包括：
14、事件三：在时间段一、时间段二和时间段三内，所述匹配状态发生匹配—未匹配—被删除的状态转换过程，所述跟踪状态由未确认直接转换为已删除。
15、可选的，所述利用目标检测技术对每一帧中的待检测目标进行跟踪包括：
16、利用目标检测框对每一帧中的待检测目标进行跟踪；
17、所述目标检测框通过如下方式获得：
18、将待采样的视频数据输入至待优化的深度学习模型中，从而对视频数据中的每一帧进行逻辑运算，得到用于识别所述待检测目标的目标检测框。
19、可选的，在确定发生符合预定义的状态转换事件之后，还包括：
20、对所述状态转换事件的异常类型进行分析。
21、可选的，所述对所述状态转换事件的异常类型进行分析包括：
22、若所述状态转换事件为事件一，则确定异常类型为漏检。
23、可选的，所述对所述状态转换事件的异常类型进行分析包括：
24、若所述状态转换事件为事件二，则统计所述待检测目标的历史匹配次数；
25、若所述历史匹配帧数小于预先设定的阈值，则确定异常类型为误检；
26、若所述历史匹配帧数大于预先设定的阈值，则确定异常类型为漏检。
27、可选的，所述对所述状态转换事件的异常类型进行分析包括：
28、若所述状态转换事件为事件三，则确定异常类型为误检。
29、可选的，若所述状态转换事件为事件一，且所述待检测目标未与其它目标发生重叠，且所述待检测目标未超出画面边界，则确定异常类型为漏检。
30、可选的，通过下述方式判断所述待检测目标是否与其它目标发生重叠：
31、对于同一帧中的两个目标a和b，通过下述式子计算交并比iom：
32、
33、其中，intersection(a,b)表示目标a、b的重叠面积，sa、sb分别表示目标a、b的面积；
34、若iom大于预先设定的阈值，则确定目标a和目标b重叠，否则不重叠。
35、可选的，对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据包括如下两种方式：
36、方式一：直接对标记的所述目标视频帧进行抽取；
37、方式二：在识别目标检测框以及对待检测目标进行跟踪的过程中，缓存预设数量的邻近帧序列；
38、在对相应的目标视频帧进行标记之后，从缓存的邻近帧序列中抽取出所标记的目标视频帧。
39、可选的，当所述待采样的视频数据为离线数据时，采用所述方式一或者方式二进行目标视频帧抽取，当所述待采样视频数据为在线视频时，采用所述方式二进行目标视频帧抽取。
40、本申请第二方面提供了一种深度学习训练数据采样系统，包括：
41、确定单元，用于确定待检测目标；
42、跟踪单元，用于利用目标检测技术对每一帧中的待检测目标进行跟踪，得到所述待检测目标的状态信息；
43、判断单元，用于根据所述状态信息判断跟踪过程是否发生符合预定义的状态转换事件；
44、标记单元，用于若确定发生符合预定义的状态转换事件，则对相应的目标视频帧进行标记；
45、帧抽取单元，用于对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据。
46、本申请第三方面提供了一种深度学习训练数据采样装置，所述装置包括：
47、处理器、存储器、输入输出单元以及总线；
48、所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
49、所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。
50、本申请第四方面提本文档来自技高网...
【技术保护点】
1.一种深度学习训练数据采样方法，其特征在于，所述方法包括：
2.根据权利要求1中所述的深度学习训练数据采样方法，其特征在于，所述状态信息包括匹配次数、匹配状态和跟踪状态，所述匹配状态为视频帧中的待检测目标是否被关联至目标检测框，所述跟踪状态为对所述待检测目标的确认情况，所述跟踪状态包括已确认、未确认和已删除，所述匹配状态包括匹配和未匹配。
3.根据权利要求2中所述的深度学习训练数据采样方法，其特征在于，所述状态转换事件包括：
4.根据权利要求2中所述的深度学习训练数据采样方法，其特征在于，所述状态转换事件包括：
5.根据权利要求2中所述的深度学习训练数据采样方法，其特征在于，所述状态转换事件包括：
6.根据权利要求1中所述的深度学习训练数据采样方法，其特征在于，所述利用目标检测技术对每一帧中的待检测目标进行跟踪包括：
7.根据权利要求1中所述的深度学习训练数据采样方法，其特征在于，在确定发生符合预定义的状态转换事件之后，还包括：
8.一种深度学习训练数据采样系统，其特征在于，包括：
10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。
...【技术特征摘要】
1.一种深度学习训练数据采样方法，其特征在于，所述方法包括：
2.根据权利要求1中所述的深度学习训练数据采样方法，其特征在于，所述状态信息包括匹配次数、匹配状态和跟踪状态，所述匹配状态为视频帧中的待检测目标是否被关联至目标检测框，所述跟踪状态为对所述待检测目标的确认情况，所述跟踪状态包括已确认、未确认和已删除，所述匹配状态包括匹配和未匹配。
3.根据权利要求2中所述的深度学习训练数据采样方法，其特征在于，所述状态转换事件包括：
4.根据权利要求2中所述的深度学习训练数据采样方法，其特征在于，所述状态转换事件包括：
5.根据权利要求2中所述的深度...
【专利技术属性】
技术研发人员：肖兵，杨婉香，李正国，廖鑫，王文熹，
申请(专利权)人：珠海视熙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。