特征处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种特征处理方法、装置、电子设备及计算机可读存储介质，属于计算机技术领域。该方法中会对任一待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量，待处理特征包括待处理视频中的目标视频帧的帧特征，对待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量，基于至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图，根据剩余的特征分量、注意力图、各个待处理特征及预设权重，获取待处理视频的视频特征。本方法中包含了一个等级分组结构，通过采用分组卷积操作进行卷积运算，进而一定程度上可以降低参数冗余及计算代价。算代价。算代价。

【技术实现步骤摘要】
特征处理方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术属于计算机
，特别是涉及一种特征处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在视频理解技术中，往往需要提取待处理视频中某些视频帧的帧特征，然后将这些帧特征聚集为视频级的视频特征。
[0003]现有技术中，可以通过非局部模块(Non-local block)进行帧特征聚集。由于进行帧特征聚集时，是直接针对待处理特征整体进行卷积运算，因此，这种处理方式中，会存在参数冗余程度较高、计算代价较高的问题。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种特征处理方法、装置、电子设备及计算机可读存储介质，以解决生成视频特征时，参数冗余程度较高、计算代价较高的问题。具体技术方案如下：
[0005]在本专利技术实施的第一方面，首先提供了一种特征处理方法，所述方法包括：
[0006]对于任一待处理特征，对所述待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量；所述待处理特征包括待处理视频中的目标视频帧的帧特征；基于所述至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图；
[0007]根据剩余的特征分量、所述注意力图、各个所述待处理特征及预设权重，获取所述待处理视频的视频特征；
[0008]其中，所述第一特征分量及所述第二特征分量对应的分组数均为g1，所述g1是所述剩余的特征分量对应的分组数g2的r倍，所述注意力图包括g2个子注意力图。
[0009]在本专利技术实施的第二方面，还提供了一种特征处理装置，所述装置包括：
[0010]组卷积模块，用于对于任一待处理特征，对所述待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量；所述待处理特征包括待处理视频中的目标视频帧的帧特征；计算模块，用于基于所述至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图；
[0011]确定模块，用于根据剩余的特征分量、所述注意力图、各个所述待处理特征及预设权重，获取所述待处理视频的视频特征；
[0012]其中，所述第一特征分量及所述第二特征分量对应的分组数均为g1，所述g1是所述剩余的特征分量对应的分组数g2的r倍，所述注意力图包括g2个子注意力图。
[0013]在本专利技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的特征处理方法。
[0014]在本专利技术实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的特征处理方法。
[0015]本专利技术实施例提供的特征处理方法，会对任一待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量，待处理特征包括待处理视频中的目标视频帧的帧特征，接着，对待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量，基于至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图，最后，根据剩余的特征分量、注意力图、各个待处理特征及预设权重，获取待处理视频的视频特征。这样，通过在确定视频特征的过程中，采用分组卷积操作进行卷积运算，可以将对待处理特征整体的卷积操作分解为对于待处理特征中多个特征组的卷积运算，一定程度上可以降低卷积运算结果的重合度，进而一定程度上可以降低参数冗余及计算代价。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0017]图1是本专利技术实施例提供的一种特征处理方法的步骤流程图；
[0018]图2-1是本专利技术实施例提供的另一种特征处理方法的步骤流程图；
[0019]图2-2是本专利技术实施例提供的一种特征处理过程的示意图；
[0020]图3是本专利技术实施例提供的一种特征处理装置的框图；
[0021]图4是本专利技术实施例提供的一种电子设备的框图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述。
[0023]图1是本专利技术实施例提供的一种特征处理方法的步骤流程图，如图1所示，该方法可以包括：
[0024]步骤101、对于任一待处理特征，对所述待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量；所述待处理特征包括待处理视频中的目标视频帧的帧特征；基于所述至少三次特征分量中的第一特征分量、第二特征分量，计算基于自注意力机制的注意力图。
[0025]本专利技术实施例中，待处理视频可以是需要提取视频特征的视频，待处理视频可以是用户输入的，也可以是从网络中自动获取的。目标视频帧可以是待处理视频中包含的所有视频帧，也可以是待处理视频中包含的部分特定视频帧。本专利技术实施例对此不作限定。例如，可以将待处理视频划分为多个视频段，然后从每个视频段中随机选择一帧视频帧作为目标视频帧。
[0026]进一步地，目标视频帧的帧特征可以是通过卷积神经网络对每帧提取的帧特征。目标视频帧的数量可以为n，从目标视频帧中提取的帧特征的维数可以为m，m和n可以均是大于1的整数，m和n的具体值可以根据实际需求来设定。本专利技术实施例中，可以通过上述提取方式，提取每个目标视频帧的帧特征，进而得到m*n维的帧特征，该m*n维的帧特征即为待处理特征。
[0027]本专利技术实施例中，第一特征分量可以是通过对待处理特征进行第一分组卷积操作
得到的，第二特征分量可以是通过对待处理特征进行第二分组卷积操作得到的，第一分组卷积操作及第二分组卷积操作对应的特征分组数量可以均为g1。其中，g1的具体数值可以根据实际情况设置，本专利技术实施例对此不作限定。
[0028]可选的，在一种实现方式中，以进行三次分组卷积操作为例，对于任一所述待处理特征，分组卷积操作的具体操作过程可以是：按照分组数g1对所述待处理特征进行第一分组卷积操作及第二分组卷积操作，得到第一特征分量及第二特征分量，按照分组数g2对所述待处理特征进行第三分组卷积操作，得到第三特征分量。具体的，进行第一分组卷积操作及第二卷积操作时，可以按照预先设定的分组数g1，将待处理特征分为对应数量个特征组，利用每个特征组对应的第一预设卷积核，分别对每个特征组进行卷积运算，所有特征组对应的运算结果集合即为进行第一分组卷积操作得到的第一特征分量。利用每个特征组对应的第二预设卷积核，分别对每个特征组进行卷积运算，所有特征组对应的运算结果集合即为进行第二分组卷积操作得到的第二特征分量。其中，第一预设卷积核及第二预设卷积核可以相同也可以不同。进一步地，进行第三分组卷积操作时，可以按照预先设定的第三分组卷积操作对应的分组数g2，将待处理特征分为g2数量个特征组，利用每个特征组对应的第三预设卷积核，分别对每个特征组进行卷积运算，所有特征组对应的运算结果集合即为进行第三分组卷积操作得到的第三特征分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征处理方法，其特征在于，所述方法包括：对于任一待处理特征，对所述待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量；所述待处理特征包括待处理视频中的目标视频帧的帧特征；基于所述至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图；根据剩余的特征分量、所述注意力图、各个所述待处理特征及预设权重，获取所述待处理视频的视频特征；其中，所述第一特征分量及所述第二特征分量对应的分组数均为g1，所述g1是所述剩余的特征分量对应的分组数g2的r倍，所述注意力图包括g2个子注意力图。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少三次特征分量中的第一特征分量及第二特征分量，计算基于自注意力机制的注意力图，包括：将所述第一特征分量中每r个特征组作为一个第一特征单元，对所述第一特征分量进行划分，得到g2个第一特征单元，以及将所述第二特征分量中每r个特征组作为一个第二特征单元，对所述第二特征分量进行划分，得到g2个第二特征单元；根据所述第一特征分量中的每个第一特征单元及所述第二特征分量中的每个第二特征单元，并基于预设的自注意力算法计算每个所述第一特征单元对应的子注意力图，得到g2个子注意力图。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征分量中的每个第一特征单元及所述第二特征分量中的每个第二特征单元，并基于预设的自注意力算法计算每个所述第一特征单元对应的子注意力图，包括：对于任一所述第一特征单元，对所述第一特征单元和所述第一特征单元对应的第二特征单元进行组矩阵相乘操作，得到第一相乘结果；根据预设的自注意力算法中的修正线性单元RELU激活函数，对所述第一相乘结果进行处理，以获取每个所述第一特征单元对应的子注意力图。4.根据权利要求1所述的方法，其特征在于，所述剩余的特征分量为第三特征分量，所述第三特征分量中包括g2个特征组；所述根据剩余的特征分量、所述注意力图、各个所述待处理特征及预设权重，确定所述待处理视频的视频特征，包括：对于任一所述待处理特征，根据所述第三特征分量中的特征组及所述注意力图中的子注意力图进行组矩阵相乘操作，得到第二相乘结果；根据所述第二相乘结果、所述预设权重及所述待处理特征，计算所述待处理特征对应的中间特征；按时间维度对各个所述待处理特征对应的中间特征进行平均处理，得到所述待处理视频的视频特征。5.根据权利要求1至4任一所述的方法，其特征在于，所述r为大于1的整数。6.根据权利要求1至4任一所述的方法，其特征在于，所述对所述待处理特征分别进行至少三次分组卷积操作，得到至少三个特征分量，包括：按照分组数g1对所述待处理特征进行第一分组卷积操作及第二分组卷积操作，得到所述第一特征分量及所述第二特征分量；按照分组数g2对所述待处理特征进行第三分组卷积操作，得到第三特征分量。7.一种特征处理装置，其特征在于，所述装置包括：

【专利技术属性】
技术研发人员：刘倩，王涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：