基于深度学习和时序判定法的重复动作计数方法及框架技术

本发明专利技术公开了一种基于深度学习和时序判定法的动作计数框架，该框架包括模型检测模块和时序判定模块，所述时序判定模块基于输入的包含特定重复动作的视频段进行判断。该基于深度学习和时序判定法的动作计数框架及构建方法解决了视频理解中对于开始结束信息无法有效预测的问题，提升了预测性能和效率；同时还解决了以往的重复动作计数模型在对于长时间段视频的动作计数预测中，因为采样帧的分布相对于视频长度会过于稀疏而导致的计数值有上限的问题，从而提升了重复动作计数模型的准确度性能。度性能。度性能。

【技术实现步骤摘要】
基于深度学习和时序判定法的重复动作计数方法及框架


[0001]本专利技术属于视频检测
，具体涉及一种基于深度学习和时序判定法的重复动作计数方法及框架。

技术介绍

[0002]实际工业生产环境中，有大量长时间重复操作的工业场景，而对于这些重复动作往往需要人为计数，影响工业生产的效率。现阶段主要通过深度学习模型对视频数据进行处理来解决工业生产场景中长时间的重复动作计数的需求，相关的深度学习模型主要为视频理解模型。现有的视频理解模型包括基于2D卷积神经网络和循环神经网络的CRNN、LSTM等，基于3D卷积神经网络的C3D、I3D等，基于自注意力transformer的TimeSformer、3D
‑
swinTransformer等，视频理解模型可以对视频进行视频分类、时空动作识别、动作计数等。
[0003]现有技术如公布号为CN 114898241 A的中国专利技术专利申请公布了一种基于计算机视觉的视频重复动作计数系统，该专利技术申请采用基于时域自相关的卷积神经网络框架，包括视频特征提取器、时域自相关层、编码器及动作预测器，尽管一定程度上实现了视频中重复动作的检测、定位和计数。但是存在下列不足：(1)无法辨识在实际工业生产过程中，特定重复动作的工序流程的开始、结束信息。对于没有进行特定重复动作的视频片段也会进行检测，从而导致误检发生，降低了模型的预测性能和运行效率；(2)在多尺度的时域帧的采样过程，在长时间段的视频中会导致采样帧的分布过于稀疏，导致重复动作计数值有上限，该上限值受采样帧数影响。

技术实现思路

[0004]本专利技术的专利技术目的是提供一种基于深度学习和时序判定法的重复动作计数方法及框架。
[0005]该基于基于深度学习和时序判定法的重复动作计数方法及框架解决了视频理解中对于重复动作行为无法有效预测的问题，提升了预测性能和效率；同时还解决了以往的重复动作计数模型在对于长时间段视频的动作计数预测中，因为采样帧的分布相对于视频长度会过于稀疏而导致的计数值有上限的问题，从而提升了重复动作计数模型的准确度性能。
[0006]为实现上述专利技术目的，本专利技术的技术方案为：
[0007]一种基于深度学习和时序判定法的重复动作计数方法，包括时序判定模块，以及训练后的目标检测模型和重复动作计数模型，且该方法包括：
[0008]A.目标检测模型对待检测视频的各视频帧判断动作标志物存在与否；
[0009]B.时序判定模块基于目标检测模型的判断结果判定是否对待检测视频的视频段执行重复动作行为计数的判定；
[0010]C.重复动作计数模型对被判定为正在进行重复动作的视频段进行动作次数计数；
[0011]D.累加基于重复动作计数模型对待检测视频中所有重复动作行为所对应视频段
的动作次数计数，累加结果即待检测视频的重复动作次数总和。
[0012]上述ABCD没有严格的先后顺序。
[0013]现阶段基于深度学习的视频理解网络在对视频的分类和语义理解上有了一些较好的性能，但是在重复动作计数方面还是有性能不佳的问题，视频理解网络可以学习到一个视频中动作的整体信息，但是对于在时序维度上的动作的语义理解能力尚未成熟，对于动作的开始和结束信息，不能够有效的识别。一个动作的开始结束行为的相似度较高，现有的模型并不能对如此相似的动作做出一个高性能的区分，导致在计数过程中产生了大量的误检、漏检，从而降低整个基于视频理解模型在动作计数任务上的性能。
[0014]本专利技术基于时序判定法将在图像处理领域中的较为成熟的任务即目标检测的模型引入到视频理解中去，目标检测模型的优点在于对于特地场景的数据，能够达到稳定的性能和较快的速度，基于目标检测模型的相对优秀的检测性能判断动作标志物存在与否，再利用时序判定模块判定重复动作行为，因此可以将重复动作行为从完整视频段中判定出来；同时本专利技术将判定为重复动作行为所对应的视频段从完整视频段中分离，重复动作计数模型对重复动作行为开始的视频段进行动作计数预测，因此不会出现采样帧的分布相对于视频长度会过于稀疏的问题，动作计数框架的动作计数值也不会受视频理解模型所限制。
[0015]在上述的基于深度学习和时序判定法的重复动作计数方法中，每个重复动作行为计数过程包括基于时序判定法判定是否为开始状态；
[0016]B中，重复动作行为判定包括重复动作的是否为开始状态的判定；
[0017]C中，基于该重复动作的开始状态重复动作计数模型开始对相应视频段进行重复动作计数。
[0018]利用时序判定模块和动作标志物对完整视频段中动作在什么时候开始，重复动作行为的开始特征因此可以通过一种有监督的标签形式准确、有效地描述出来，有效区分视频段中的重复动作行为。
[0019]在上述的基于深度学习和时序判定法的重复动作计数方法中，所述A中，目标检测模型判断动作标志物存在与否的方式如下：
[0020]ojb
t
＝length(f
det
(Img
t
))
[0021]Img
t
表示待检测视频第t帧所对应的画面；f
det
表示训练后的目标检测模型；
[0022]length表示数量统计；ojb
z
表示画面Img
t
基于目标检测模型f
det
所预测得到的目标数量；
[0023]若ojb
t
＞0，则表示目标检测模型的预测结果为画面中有动作标志物，否则，表示目标检测的预测结果为画面中没有动作标志物。
[0024]本专利技术利用时序判定法来提升模型预测结果对于重复动作计数的性能，目标检测模型对该动作标志物的出现与否进行预测，为后续的时序判定模块等做准备。
[0025]在上述的基于深度学习和时序判定法的重复动作计数方法中，所述时序判定模块判定重复动作行为开始状态如下：
[0026]当ojb
t
＞0，将Img
t
加入到集合C
obj
中，集合C
obj
表示对预测出有动作标志物的画面进行累计的集合，对集合C
obj
中的元素个数与累计阈值K1进行判断，
[0027]当length(C
obj
)≥K1时，判定待检测视频在集合C
obj
内的连续K1帧中出现了动作标
志物，从而判定为开始状态。
[0028]即当集合C
obj
中有至少K1个元素时判定视频段中重复动作行为开始状态，实际应用中，累计阈值K1根据需要进行设定。时序判定模块对视频段逐帧进行判断，时序判定模块判定累计帧数元素到达阈值时为重复动作行为开始状态对应的视频段，由此模型检测模块能够有效的识别动作的开始，基于重复动作计数模型对每当连续累计K帧时的集合C
obj
内的帧进行动作计数预测，从而有效避免重复动作计数模型对视频长度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和时序判定法的重复动作计数方法，其特征在于，包括时序判定模块，以及训练后的目标检测模型和重复动作计数模型，且该方法包括：A.目标检测模型对待检测视频的各视频帧判断动作标志物存在与否；B.时序判定模块基于目标检测模型的判断结果判定是否对待检测视频的视频段执行重复动作行为计数的判定；C.重复动作计数模型对被判定为正在进行重复动作的视频段进行动作次数计数；D.累加基于重复动作计数模型对待检测视频中所有重复动作行为所对应视频段的动作次数计数，累加结果即待检测视频的重复动作次数总和。2.根据权利要求1所述的基于深度学习和时序判定法的重复动作计数方法，其特征在于，每个重复动作行为计数过程包括基于时序判定法所判定是否为开始状态；B中，基于时序判定模块的判定包括是否为开始状态的判定；C中，基于该重复动作的开始状态重复动作计数模型开始对相应视频段进行重复动作计数。3.根据权利要求1所述的基于深度学习和时序判定法的重复动作计数方法，其特征在于，所述A中，目标检测模型判断动作标志物存在与否的方式如下：ojb
t
＝length(f
det
(Img
t
))Img
t
表示待检测视频第t帧所对应的画面；f
det
表示训练后的目标检测模型；length表示数量统计；ojb
t
表示画面Img
t
基于目标检测模型f
det
所预测得到的目标数量；若ojb
t
＞0，则表示目标检测模型的预测结果为画面中有动作标志物，否则，表示目标检测的预测结果为画面中没有动作标志物。4.根据权利要求3所述的基于深度学习和时序判定法的重复动作计数方法，其特征在于，所述时序判定模块判定重复动作行为开始状态如下：当ojb
t
＞0，将Img
t
加入到集合C
obj
中，集合C
obj
表示对预测出有动作标志物的画面进行累计的集合，对集合C
obj
中的元素个数与累计阈值K1进行判断，当length(C
obj
)≥K1时，判定待检测视频在集合C
obj
内的连续K1帧中出现了动作标志物，从而判定为开始状态。5.根据权利要求4所述的基于深度学习和时序判定法的重复动作计数方...

【专利技术属性】
技术研发人员：仇祎诚，牛力，沙枫，廖佳纯，宋文杰，张磊，
申请(专利权)人：南湖实验室，
类型：发明
国别省市：