基于非关键帧扰动的视频序列样本增强方法技术

本发明专利技术涉及一种基于非关键帧扰动的视频序列样本增强方法，包括步骤S1：在网络训练过程中，将输入视频序列样本送入视频行人重识别网络模型中，并根据网络输出结果计算损失；步骤S2：对视频序列样本计算其梯度方向；步骤S3：对视频序列中每一个视频帧计算该视频帧下的梯度方向绝对值的总和；步骤S4：根据视频序列中每一帧的总和值，计算获得视频序列中前n_k个总和值最大的帧的索引，并视为此视频序列中的关键帧；步骤S5：根据关键帧的索引，对视频序列中其他非关键帧进行随机高斯噪声扰动；步骤S6：经过扰动后的非关键帧替换掉原视频序列中对应索引的帧，构建新的视频序列样本，再次送入视频重识别网络中进行后续训练。入视频重识别网络中进行后续训练。入视频重识别网络中进行后续训练。

【技术实现步骤摘要】
基于非关键帧扰动的视频序列样本增强方法


[0001]本专利技术涉及计算机视觉领域领域，特别是基于非关键帧扰动的视频序列样本增强方法。

技术介绍

[0002]视频行人重识别是计算机视觉领域的热门话题，旨在将行人与连续的视频序列相匹配。与基于图像的行人重识别任务相比，视频行人重识别更接近实际应用，可用于视频监控、寻找丢失的人等。现有的视频行人重识别方法专注于从时空中提取特征，忽视了对视频序列中每个帧的质量，由于连续视频序列中可能存在某几帧中目标被遮挡、目标丢失等低质量情况，若是将所有视频帧都视为同质量的训练数据的话，则会弱化网络模型的学习能力，无法训练一个鲁棒的视频行人重识别网络。

技术实现思路

[0003]有鉴于此，本专利技术的目的是提出基于非关键帧扰动的视频序列样本增强方法。首先，本专利技术通过利用符号函数对视频序列样本中的梯度方向进行计算，并对视频序列中每一帧进行影响度统计，提取前n_k个影响度最高的帧视为关键帧，提出了一种新的基于梯度方向的视频序列关键帧提取方法，这些关键帧有助于网络学习可判别性信息。针对非关键帧影响度不高的特点，本专利技术对非关键帧施加随机高斯噪声，构建一个新的突出关键帧的视频序列样本，让网络能通过对抗学习减少了非关键帧数据对模型的影响，从而提升视频行人重识别网络的鲁棒性。
[0004]首先，在网络训练过程中，将输入视频序列样本送入视频行人重识别网络模型中，并根据网络输出结果计算损失；随后，使用符号函数sign()对视频序列样本计算其梯度方向；接着，对视频序列中每一个视频帧使用求和sum()函数计算该视频帧下的梯度方向绝对值的总和；然后，根据视频序列中每一帧的总和值，使用求前n_k个最大值函数topk()获得视频序列中前n_k个总和值最大的帧的索引，并视为此视频序列中的关键帧；之后，根据关键帧的索引，对视频序列中其他非关键帧进行随机高斯噪声扰动；最后，经过扰动后的非关键帧替换掉原视频序列中对应索引的帧，构建新的视频序列样本，再次送入视频重识别网络中进行后续训练。本专利技术能够提高视频行人重识别场景下的检索效果。
[0005]本专利技术具体采用以下技术方案：
[0006]一种基于非关键帧扰动的视频序列样本增强方法，其特征在于，包括以下步骤：
[0007]步骤S1：在网络训练过程中，将输入视频序列样本送入视频行人重识别网络模型中，并根据网络输出结果计算损失；
[0008]步骤S2：对视频序列样本计算其梯度方向；
[0009]步骤S3：对视频序列中每一个视频帧计算该视频帧下的梯度方向绝对值的总和；
[0010]步骤S4：根据视频序列中每一帧的总和值，计算获得视频序列中前n_k个总和值最大的帧的索引，并视为此视频序列中的关键帧；
[0011]步骤S5：根据关键帧的索引，对视频序列中其他非关键帧进行随机高斯噪声扰动；
[0012]步骤S6：经过扰动后的非关键帧替换掉原视频序列中对应索引的帧，构建新的视频序列样本，再次送入视频重识别网络中进行后续训练。
[0013]进一步地，步骤S1具体为：
[0014]步骤S11：在网络训练过程中，将输入视频序列样本n_x送入视频行人重识别网络模型中，由网络模型中的分类器获得分类分数n_α，其中n_x的形状为5维张量，分别是批次，帧数，通道数，高度，宽度；
[0015]步骤S12：根据分类分数n_α和视频序列样本类别标签值n_y，通过交叉熵损失函数计算损失，并进行损失反向传播，公式如下所示：
[0016][0017]其中是n_α的梯度，J()是交叉熵损失函数，model_θ表示网络参数。
[0018]进一步地，步骤S2具体为，对视频序列样本计算其梯度方向n_v，公式如下所示，其中n_v的形状如输入视频序列样本n_x，sign()表示对梯度方向进行符号计算，对于大于0的梯度，输出为1，对于小于0的梯度，输出为
‑
1，对于等于0的梯度，输出为0：
[0019][0020]进一步地，步骤S3具体为，对视频序列中每一个视频帧计算该视频帧下的梯度方向n_v绝对值的总和，公式如下所示，abs()表示对输入的梯度方向n_v的值取绝对值，sum()表示对输入的梯度方向n_v的绝对值求和，dim表示sum()选择的维度，dim＝[2,3,4]表示选择通道数，高度，宽度；
[0021]sum
n_v
＝sum(abs(n_v)),dim＝[2,3,4]。
[0022]进一步地，步骤S4具体为，根据视频序列中每一帧的总和值sum
n_v
，计算获得视频序列中前n_k个总和值最大的帧的索引key
index
，并将索引对应的帧视为此视频序列中的关键帧，其余为非关键帧，公式如下所示，topk()表示获取sum
n_v
中前n_k个最值，dim表示topk()选择的维度，dim＝[1]表示根据每个批次的求和结果进行排序；
[0023]key
index
＝topk(sum
n_v
),dim＝[1]。
[0024]进一步地，其特征在于，步骤S5中，根据关键帧的索引key
index
，对视频序列中其他非关键帧进行随机高斯噪声扰动，公式如下所示，其中随机高斯噪声noise_δ服从一个数学期望为μ、标准方差为σ2的高斯分布N，形状大小如视频序列n_x，zero_like()表示生成与输入数据形状相同的全0的数据：
[0025]noise_δ～N(μ,σ2)
[0026]noise_δ[key
index
]＝zero_like(noise_δ[key
index
])。
[0027]进一步地，步骤S6具体为，经过扰动后的非关键帧替换掉原视频序列n_x中对应索引的帧，构建新的视频序列样本其中noise_δ中全0部分表示对应的帧为关键帧，不进行扰动，公式如下所示，新的视频序列样本送入视频行人重识别网络中进行后续训练：
[0028][0029]以及，一种基于非关键帧扰动的视频序列样本增强系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的方法。
[0030]一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的方法。
[0031]与现有技术相比，本专利技术及其优选方案具有以下有益效果：
[0032]1、提出了一种基于梯度方向的视频关键帧提取方法，通过利用符号函数计算出样本的梯度方向，并对每帧中梯度方向绝对值进行求和统计，从而获得视频序列中的关键帧；
[0033]2、设计了一种基于随机高斯噪声的视频序列样本增强方法，针对非关键帧影响度不高的特点，对非关键帧施加随机高斯噪声，构建一个新的突出关键帧的视频序列样本；
[0034]3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非关键帧扰动的视频序列样本增强方法，其特征在于，包括以下步骤：步骤S1：在网络训练过程中，将输入视频序列样本送入视频行人重识别网络模型中，并根据网络输出结果计算损失；步骤S2：对视频序列样本计算其梯度方向；步骤S3：对视频序列中每一个视频帧计算该视频帧下的梯度方向绝对值的总和；步骤S4：根据视频序列中每一帧的总和值，计算获得视频序列中前n_k个总和值最大的帧的索引，并视为此视频序列中的关键帧；步骤S5：根据关键帧的索引，对视频序列中其他非关键帧进行随机高斯噪声扰动；步骤S6：经过扰动后的非关键帧替换掉原视频序列中对应索引的帧，构建新的视频序列样本，再次送入视频重识别网络中进行后续训练。2.根据权利要求1所述的基于非关键帧扰动的视频序列样本增强方法，其特征在于，步骤S1具体为：步骤S11：在网络训练过程中，将输入视频序列样本n_x送入视频行人重识别网络模型中，由网络模型中的分类器获得分类分数n_α，其中n_x的形状为5维张量，分别是批次，帧数，通道数，高度，宽度；步骤S12：根据分类分数n_α和视频序列样本类别标签值n_y，通过交叉熵损失函数计算损失，并进行损失反向传播，公式如下所示：其中是n_α的梯度，J()是交叉熵损失函数，model_θ表示网络参数。3.根据权利要求1所述的基于非关键帧扰动的视频序列样本增强方法，其特征在于，步骤S2具体为，对视频序列样本计算其梯度方向n_v，公式如下所示，其中n_v的形状如输入视频序列样本n_x，sign()表示对梯度方向进行符号计算，对于大于0的梯度，输出为1，对于小于0的梯度，输出为
‑
1，对于等于0的梯度，输出为0：4.根据权利要求1所述的基于非关键帧扰动的视频序列样本增强方法，其特征在于，步骤S3具体为，对视频序列中每一个视频帧计算该视频帧下的梯度方向n_v绝对值的总和，公式如下所示，abs()表示对输入的梯度方向n_v的值取绝对值，sum()表示对输入的梯度方向n_v的绝对值求和，dim表示sum()选择的维度，dim＝[2，3，4]表示选择通道数，高度，宽度；sum
n_v
＝sum(abs(n_v))，dim＝[2，3，4]。5.根据权利要求...

【专利技术属性】
技术研发人员：柯逍，刘浩，
申请(专利权)人：福州大学，
类型：发明
国别省市：