基于多头级联注意网络与时间卷积网络的行为识别方法及装置制造方法及图纸

本发明专利技术提供了一种基于多头级联注意网络与时间卷积网络的行为识别方法及装置，包括：采集视频，并提取所述视频中的视频特征信息；以自注意的方式捕获局部注意权值；采用多头注意机制来捕捉所述视频中的其他特征信息；采用线性变换和归一化的方法对特征空间中的特征值加权，增加自注意特征的多样性；利用所述局部注意权值，将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重；根据多阶段时间卷积网络进行时序特征的提取，改进预测结果；经过专家系统对所述预测结果进行分析，得到最终的行为类别。本发明专利技术所述的行为识别方法有效的解决了现有识别方法的局限性，具有监测结果准确及时、不易受灰尘、挥发性气体等外界因素影响。气体等外界因素影响。气体等外界因素影响。

【技术实现步骤摘要】
基于多头级联注意网络与时间卷积网络的行为识别方法及装置


[0001]本专利技术属于行为识别领域，具体涉及一种基于多头级联注意网络与时间卷积网络的行为识别方法、系统、电子装置及应用。

技术介绍

[0002]随着监控技术的发展，通过光学摄像头采集的图像信息输入计算机，利用计算机视觉技术，根据先前设计的算法对视频中的序列图像进行实时信息处理和模式识别来检测吸烟行为。与人工监督方法和传统传感器烟雾报警相比，基于计算机视觉的吸烟行为检测系统具有监控范围广、监控资源利用率高，自动定位吸烟者并发出警报等优点。
[0003]传统的吸烟检测方法通常都是通过人工监督、烟雾传感器、可穿戴设备、人工监督等方式进行检测。这些方法存在诸多局限：一是室外场景中烟雾浓度被极大稀释，无法被烟雾传感器所感应；二是可穿戴设备执行检测的成本较高；三是人工检测方法需要投入巨大的人力。并且传统的物理检测方法无法实时定位吸烟者。
[0004]吸烟检测与干预在过去的几年中使用了不同的可用技术，包括传感器、计算机视觉、可穿戴传感计算技术等。由于香烟浓度低、易发散的特点，基于传感器的烟雾检测设备受限于使用空间的大小和密闭程度，且易受灰尘、挥发性气体等外界因素的干扰，无法适用于大多数的公共场合的吸烟行为检测。同时传统的烟感设备不能实时的定位吸烟者，无法有效的保证禁烟工作的有效进行。
[0005]因此，一种成本低、高效并且能实时判断目标动作行为的监测手段亟待研发。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术提供了一种基于多头级联注意网络与时间卷积网络的行为识别方法及装置，用于解决前述技术问题中的至少一个。
[0007]为了实现上述目的，本专利技术采用的具体方案为：
[0008]一种基于多头级联注意网络与时间卷积网络的行为识别方法，包括：
[0009]采集视频，并提取所述视频中的视频特征信息；
[0010]通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值；
[0011]采用多头注意机制来捕捉所述视频中的其他特征信息；
[0012]采用线性变换和归一化的方法对特征空间中的特征值加权，增加自注意特征的多样性；
[0013]采用多头级联注意网络，利用所述局部注意权值，多头级联注意网络将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重；
[0014]根据所述注意权重获取所述视频特征信息对应的第一动作标签，并将所述第一动作标签根据多阶段时间卷积网络进行时序特征的提取，改进预测结果；
[0015]经过专家系统对所述预测结果进行分析，得到最终的行为类别。
[0016]所述“采集视频，并提取所述视频中的视频特征信息”，包括：
[0017]通过I＝[I1,I2...I
k
]k个片段来表示视频，经过一个参数为θ1的特征提取网络提取所述视频的特征信息：
[0018]X＝[x1，x2，...x
K
]＝[r(I1；θ1)，...，r(I
K
；θ1)][0019]其中，Ii∈R
H*W*3*L
，H和W分别为输入视频段的高度和宽度，L为视频片段的长度。
[0020]所述“通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值”，包括：
[0021]将所述视频特征信息输入到接下来的两个全连接层中，通过第一个连接层用于学习自注意权重，与第二个连接层结合数据的归一化，得到学习多种注意特征；
[0022]注意权重α
ij
的输入定义如下：
[0023][0024]第一个FC层的每一个输出是第i个原始特征与第i头注意模块的注意力权重的加权值，定义如下：
[0025][0026]其中，k为视频片段的数量；X
j
为第j帧视频特征信息；w为全局注意模块的全连接层的参数。
[0027]所述“采用线性变换和归一化的方法对特征空间中的特征值加权”，包括：
[0028]通过以下流程进行线性变换：
[0029][0030]其中，y
’
是全连接层的y经过线性变换而得到的；N为自注意模块的个数。
[0031]所述“采用多头级联注意网络，利用所述局部注意权值，多头级联注意网络将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重”，包括：
[0032]将自注意特征作为输入，通过连接视频表示和自注意特征的级联层来学习注意权重，每个注意权重定义为如下形式：
[0033]β
i
＝sigmoid(w
T
[y
i
′
；G])
[0034]其中，w是全局注意模块的全连接层的参数；[y
i
′
；G]表示将y
i
’
与G通过一个串联算子进行连接；i＝1，2，3
……
。
[0035]所述“根据所述注意权重获取所述视频特征信息对应的第一动作标签，并将所述第一动作标签根据多阶段时间卷积网络进行时序特征的提取”，包括：
[0036]引入一个多阶段的时间卷积网络来完成时间动作的分割任务，并在所述时间卷积网络中引入膨胀卷积；
[0037]在所述时间卷积网络中的每个阶段都从前一个阶段获取一个初始预测，并对其进
行改进。
[0038]一种基于多头级联注意网络与时间卷积网络的行为识别系统，包括：
[0039]多头级联网络模块，用于获取视频中的局部注意权值并根据所述局部注意权值将局部特征集成到多个全局表示中；
[0040]动作逻辑组合模块，与所述多头级联网络模块进行数据交互，用于获得视频信息的行为分类。
[0041]所述多头级联网络模块，包括：
[0042]局部注意模块，与外界连接，用于从多头级联网络模块的骨干生成的网段特征开始，学习每个网段的多个注意权重，以自注意的方式捕获局部特征的重要性，得到局部注意权值；
[0043]全局注意模块，与所述局部注意模块进行数据交互，用于利用所述局部注意权值，将局部特征集成到多个全局表示中，然后通过关系的方式学习全局信息的二级注意；
[0044]全局注意模块与所述动作逻辑组合模块进行数据交互，用于进行行为识别与分类。
[0045]一种基于多头级联注意网络与时间卷积网络的行为识别的电子装置，包括：
[0046]存储介质，用于存储计算机程序；
[0047]处理单元，与所述存储介质进行数据交换，用于在进行行为识别时，通过所述处理单元执行所述计算机程序，进行如权利要求1～6中任一权利要求所述的基于多头级联注意网络与时间卷积网络的行为识别方法的步骤。
[0048]如上所述的基于多头级联注意网络与时间卷积网络的行为识别方法在吸烟监测方向上的应用。
[0049]有益效果：本专利技术具有以下优点：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多头级联注意网络与时间卷积网络的行为识别方法，其特征在于，包括：采集视频，并提取所述视频中的视频特征信息；通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值；采用多头注意机制来捕捉所述视频中的其他特征信息；采用线性变换和归一化的方法对特征空间中的特征值加权，增加自注意特征的多样性；采用多头级联注意网络，利用所述局部注意权值，多头级联注意网络将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重；根据所述注意权重获取所述视频特征信息对应的第一动作标签，并将所述第一动作标签根据多阶段时间卷积网络进行时序特征的提取，改进预测结果；经过专家系统对所述预测结果进行分析，得到最终的行为类别。2.根据权利要求1所述的一种基于多头级联注意网络与时间卷积网络的行为识别方法，其特征在于，所述“采集视频，并提取所述视频中的视频特征信息”，包括：通过I＝[I1,I2...I
k
]k个片段来表示视频，经过一个参数为θ1的特征提取网络提取所述视频的特征信息：X＝[x1，x2，...x
K
]＝[r(I1；θ1)，...，r(I
K
；θ1)]其中，Ii∈R
H*W*3*L
，H和W分别为输入视频段的高度和宽度，L为视频片段的长度。3.根据权利要求1所述的一种基于多头级联注意网络与时间卷积网络的行为识别方法，其特征在于，所述“通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值”，包括：将所述视频特征信息输入到接下来的两个全连接层中，通过第一个连接层用于学习自注意权重，与第二个连接层结合数据的归一化，得到学习多种注意特征；首先将K帧的视频分为{I1，I2，
…
,I
k
}，经过一个参数为θ的特征提取网络r(
·
；θ1)得到视频K帧的特征X＝[x1,x2,
…
,x
k
]；输入视频片段特征X
j
的自注意权重a
ij
的定义如下：第一个FC层的每一个输出是第i个原始特征与第i头注意模块的注意力权重的加权值，定义如下：其中，k为视频片段的数量；X
j
为第j帧视频特征信息；w为全局注意模块的全连接层的参数。4.根据权利要求1所述的一种基于多头级联注意网络与时间卷积网络的行为识别方法，其特征在于，所述“采用线性变换和归一化的方法对特征空间中的特征值加权”，包括：通过以下流程进行线性变换：
其中，y
’
是全连接层的y经过线性变换而得到的；N...

【专利技术属性】
技术研发人员：郭媛君，杨之乐，陈雪健，冯伟，王尧，吴承科，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：