视频特征提取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能，提供一种视频特征提取方法、装置、设备及存储介质。该方法根据待处理视频的视频帧率提取目标图像帧，并基于每个像素跟踪点的移动信息生成光流图像，基于空间流模型对目标图像帧进行特征提取，得到空间特征信息，基于时间流模型对光流图像进行特征提取，得到时间特征信息，融合空间特征信息与时间特征信息，得到准确全面的视频特征信息。此外，本发明专利技术还涉及区块链技术，所述视频特征信息可存储于区块链中。息可存储于区块链中。息可存储于区块链中。

【技术实现步骤摘要】
视频特征提取方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种视频特征提取方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网的发展，对视频的分析需求也随之增多。然而，在目前的视频特征提取方案中，由于无法结合上下文信息提取视频中的连续性特征，造成无法准确并全面的提取出视频中的特征信息。

技术实现思路

[0003]鉴于以上内容，有必要提供一种视频特征提取方法、装置、设备及存储介质，能够解决无法准确并全面的提取出视频中的特征信息的技术问题。
[0004]一方面，本专利技术提出一种视频特征提取方法，所述视频特征提取方法包括：
[0005]根据接收到的视频特征提取请求获取待处理视频；
[0006]根据所述待处理视频的视频帧率提取多个目标图像帧；
[0007]根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图像；
[0008]获取预先训练完成的双层特征提取模型，所述双层特征提取模型包括空间流模型及时间流模型；
[0009]基于所述空间流模型对所述多个目标图像帧进行特征提取，得到所述待处理视频的空间特征信息；
[0010]基于所述时间流模型对所述光流图像进行特征提取，得到所述待处理视频的时间特征信息；
[0011]融合所述空间特征信息与所述时间特征信息，得到视频特征信息。
[0012]根据本专利技术优选实施例，所述根据所述待处理视频的视频帧率提取多个目标图像帧包括：
[0013]比较所述视频帧率与预设帧率阈值；
[0014]若所述视频帧率大于或者等于所述预设帧率阈值，则根据所述视频帧率及所述待处理视频的视频时长计算所述待处理视频的总帧数；
[0015]计算所述总帧数在预设数量阈值上的占比；
[0016]依据所述占比从所述待处理视频中周期性提取出所述多个目标图像帧。
[0017]根据本专利技术优选实施例，若所述视频帧率小于所述预设帧率阈值，所述方法还包括：
[0018]从所述待处理视频中连续提取帧数为所述预设数量阈值的图像帧作为所述多个目标图像帧。
[0019]根据本专利技术优选实施例，所述根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图像包括：
[0020]对于所述多个目标图像帧中的相邻图像帧，获取第一图像帧中每个像素跟踪点的第一位置信息，并获取第二图像帧中每个像素跟踪点的第二位置信息，所述相邻图像帧包括所述第一图像帧及所述第二图像帧；
[0021]根据所述第一位置信息及所述第二位置信息计算所述移动信息；
[0022]根据所述多个目标图像帧从所述待处理视频的提取方式识别所述多个目标图像帧的目标帧率；
[0023]根据所述移动信息及所述目标帧率计算每个像素跟踪点的光流信息；
[0024]根据所述光流信息生成所述光流图像。
[0025]根据本专利技术优选实施例，所述时间流模型的训练方式包括：
[0026]基于预设卷积层、第一预设全连接层、第二预设全连接层及预设激活层构建时间流网络，所述时间流网络包括所述预设卷积层的第一网络权值、所述第一预设全连接层的第二网络权值、所述第二预设全连接层的第三网络权值及所述预设激活层的第四网络权值；
[0027]获取训练图像及所述训练图像的标注特征；
[0028]基于所述时间流网络对所述训练图像进行预测，得到预测特征；
[0029]基于所述预测特征及所述标注特征计算所述时间流网络的网络损失值；
[0030]基于所述网络损失值及所述第四网络权值计算所述预设激活层的激活损失，基于所述激活损失及所述第三网络权值计算所述第二预设全连接层的第二全连接损失，基于所述第二全连接损失及所述第二网络权值计算所述第一预设全连接层的第一全连接损失，并基于所述第一全连接损失及所述第一网络权值计算所述预设卷积层的卷积损失；
[0031]基于所述卷积损失调整所述预设卷积层，所述第一全连接损失调整所述第一预设全连接层，所述第二全连接损失调整所述第二预设全连接层，所述激活损失调整所述预设激活层，直至所述网络损失值不再降低，得到所述时间流模型。
[0032]根据本专利技术优选实施例，所述空间流模型包括空间卷积层、归一化层、第一空间全连接层、第二空间全连接层及空间激活层，所述基于所述空间流模型对所述多个目标图像帧进行特征提取，得到所述待处理视频的空间特征信息包括：
[0033]根据每个目标图像帧的图像像素构建图像编码向量；
[0034]基于所述空间卷积层对所述图像编码向量进行特征提取，得到初始特征向量；
[0035]基于所述归一化层对所述初始特征向量进行归一化处理，得到归一化向量；
[0036]基于所述第一空间全连接层对所述归一化向量进行映射处理，得到中间特征向量；
[0037]基于所述第二空间全连接层对所述中间特征向量进行校正处理，得到校正特征；
[0038]基于所述空间激活层对所述校正特征进行类别预测，并将所述空间激活层所输出的最大预测概率所对应的校正特征确定为所述空间特征信息。
[0039]根据本专利技术优选实施例，所述融合所述空间特征信息与所述时间特征信息，得到视频特征信息包括：
[0040]计算所述空间特征信息的转置信息与所述时间特征信息的乘积，得到映射特征信息；
[0041]获取与所述映射特征信息对应的像素信息，所述像素信息包括多个像素位置及每
个像素位置所对应的像素值；
[0042]基于所述多个像素位置拼接所述像素值，得到所述视频特征信息。
[0043]另一方面，本专利技术还提出一种视频特征提取装置，所述视频特征提取装置包括：
[0044]获取单元，用于根据接收到的视频特征提取请求获取待处理视频；
[0045]提取单元，用于根据所述待处理视频的视频帧率提取多个目标图像帧；
[0046]生成单元，用于根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图像；
[0047]所述获取单元，还用于获取预先训练完成的双层特征提取模型，所述双层特征提取模型包括空间流模型及时间流模型；
[0048]所述提取单元，还用于基于所述空间流模型对所述多个目标图像帧进行特征提取，得到所述待处理视频的空间特征信息；
[0049]所述提取单元，还用于基于所述时间流模型对所述光流图像进行特征提取，得到所述待处理视频的时间特征信息；
[0050]融合单元，用于融合所述空间特征信息与所述时间特征信息，得到视频特征信息。
[0051]另一方面，本专利技术还提出一种电子设备，所述电子设备包括：
[0052]存储器，存储计算机可读指令；及
[0053]处理器，执行所述存储器中存储的计算机可读指令以实现所述视频特征提取方法。
[0054]另一方面，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频特征提取方法，其特征在于，所述视频特征提取方法包括：根据接收到的视频特征提取请求获取待处理视频；根据所述待处理视频的视频帧率提取多个目标图像帧；根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图像；获取预先训练完成的双层特征提取模型，所述双层特征提取模型包括空间流模型及时间流模型；基于所述空间流模型对所述多个目标图像帧进行特征提取，得到所述待处理视频的空间特征信息；基于所述时间流模型对所述光流图像进行特征提取，得到所述待处理视频的时间特征信息；融合所述空间特征信息与所述时间特征信息，得到视频特征信息。2.如权利要求1所述的视频特征提取方法，其特征在于，所述根据所述待处理视频的视频帧率提取多个目标图像帧包括：比较所述视频帧率与预设帧率阈值；若所述视频帧率大于或者等于所述预设帧率阈值，则根据所述视频帧率及所述待处理视频的视频时长计算所述待处理视频的总帧数；计算所述总帧数在预设数量阈值上的占比；依据所述占比从所述待处理视频中周期性提取出所述多个目标图像帧。3.如权利要求2所述的视频特征提取方法，其特征在于，若所述视频帧率小于所述预设帧率阈值，所述方法还包括：从所述待处理视频中连续提取帧数为所述预设数量阈值的图像帧作为所述多个目标图像帧。4.如权利要求1所述的视频特征提取方法，其特征在于，所述根据所述多个目标图像帧中每个像素跟踪点的移动信息生成光流图像包括：对于所述多个目标图像帧中的相邻图像帧，获取第一图像帧中每个像素跟踪点的第一位置信息，并获取第二图像帧中每个像素跟踪点的第二位置信息，所述相邻图像帧包括所述第一图像帧及所述第二图像帧；根据所述第一位置信息及所述第二位置信息计算所述移动信息；根据所述多个目标图像帧从所述待处理视频的提取方式识别所述多个目标图像帧的目标帧率；根据所述移动信息及所述目标帧率计算每个像素跟踪点的光流信息；根据所述光流信息生成所述光流图像。5.如权利要求1所述的视频特征提取方法，其特征在于，所述时间流模型的训练方式包括：基于预设卷积层、第一预设全连接层、第二预设全连接层及预设激活层构建时间流网络，所述时间流网络包括所述预设卷积层的第一网络权值、所述第一预设全连接层的第二网络权值、所述第二预设全连接层的第三网络权值及所述预设激活层的第四网络权值；获取训练图像及所述训练图像的标注特征；基于所述时间流网络对所述训练图像进行预测，得到预测特征；
基于所述预测特征及所述标注特征计算所述时间流网络的网络损失值；基于所述网络损失值及所述第四网络权值计算所述预设激活层的激活损失，基于所述激活损失及所述第三网络权值计算所述第二预设全连接层的第二全连接损失，基于所述第二全连接损失及所述第二网络权值计算所述第一预设全连接层的第一全连接损失，并基于所述第一全...

【专利技术属性】
技术研发人员：何琪，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：