融合时间卷积与自注意力机制的车祸事件检测方法及系统技术方案

本发明专利技术公开了一种融合时间卷积与自注意力机制的车祸事件检测方法及系统

【技术实现步骤摘要】
融合时间卷积与自注意力机制的车祸事件检测方法及系统


[0001]本专利技术涉及计算机
，具体而言，涉及一种融合时间卷积与自注意力机制的车祸事件检测及系统
。

技术介绍

[0002]对交通事故进行快速检测，可以降低由于救援不及时带来的财产损失和人员伤亡损失
。
最近二十年内，交通监控遍布城市街道的各个角落，为基于视觉的事故检测提供了大量的视频数据来源
。
如何有效地使用目前已有的监控数据来进行事故检测非常关键
。
近年来，随着深度学习技术的发展，基于卷积神经网络的计算机视觉技术得到了迅速的发展
。
基于深度学习的计算机视觉技术不需要人工提取图像
/
视频的特征，所有的特征都是模型通过大量的数据学习得到，所以基于深度学习的计算机视觉技术相较于传统的人工提取特征的图像处理方法精度更高
。
[0003]目前，部分工作中将重构误差较大的样本判定为异常事件，由于人工设计特征的表征能力有限，在复杂场景下鲁棒性较差
。
此外，其他方法通常依据端到端的异常得分进行判定，将异常得分高于阈值的输入样本判为异常
。
因此，进行异常判定的阈值不易确定，容易造成误报或漏检
。
另外，传统车祸检测中的时序建模大多都是采用循环神经网络
(Recurrent Neural Network
，
RNN)
及其变种方法进行的，循环神经网络
(Recurrent Neural Network
，
RNN)
一般很难将信息长期保存，而且还存在着梯度消失和梯度爆炸问题，因此预测的效果并不是很好
。
长短期记忆网络
(Long Short
‑
Term Memory networks,LSTM)
和
,
门控循环单元
(gatedrecurrent unit,GRU)
的出现很好地解决了
RNN
的长期依赖和梯度消失问题，它们能够通过门控机制对信息有选择地记忆或是遗忘，但是其感受野不够宽广，这限制了基于长短期记忆网络
(Long Short
‑
Term Memory networks,LSTM)
的车祸检测的性能
。

技术实现思路

[0004]本专利技术的目的在于提供了一种融合时间卷积与自注意力机制的车祸事件检测方法及系统，用以解决现有技术中存在的上述问题
。
[0005]第一方面，本专利技术实施例提供了一种融合时间卷积与自注意力机制的车祸事件检测方法，包括：
[0006]获得多张待测视频帧；所述多张待测视频帧为待预测视频中的多张连续帧的图像；所述待预测视频帧表示预测当前帧图像的下一帧图像；
[0007]基于所述待测视频帧，通过编码器，得到第一编码特征图
、
第二编码特征图
、
第三编码特征图和第四编码特征图；多张待测视频帧得到多张对应的第一编码特征图
、
多张对应的第二编码特征图
、
多张对应的第三编码特征图和多张对应的第四编码特征图；
[0008]基于多张第四编码特征图，通过时间卷积网络，得到时间特征图；所述时间特征图为带有时间信息的特征图；
[0009]基于所述时间特征图，通过多头注意力机制，得到注意力特征图；
[0010]基于所述多张对应的第一编码特征图
、
多张对应的第二编码特征图
、
多张对应的第三编码特征图和注意力特征图，通过解码器对全局和局部信息进行融合，得到预测图像；预测图像中包含车祸发生情况；
[0011]所述编码器
、
时间卷积网络
、
多头注意力机制和解码器构成
U
形全卷积神经网络：
[0012]所述编码器的输出为所述时间卷积网络的输入，所述时间卷积网络输出的特征图线性映射为固定长度的序列为多头注意力机制的输入；所述注意力机制编码器的输出为解码器的输入
。
[0013]其中，所述固定长度维依靠多头注意力机制的设置决定
。
[0014]可选的，所述基于多张第四编码特征图，通过时间卷积网络，得到时间特征图；所述时间特征图为带有时间信息的特征图，包括：
[0015]所述时间卷积网络包括因果卷积网络
、
膨胀卷积和残差连接；
[0016]获得特征图时间点；所述特征图时间点为第四编码特征图对应的待测视频帧的时间点；
[0017]将所述多张第四编码特征图按照特征图时间点从远到近输入因果卷积网络，得到时间特征图
[0018]一个因果卷积网络的多个输入对应一个输出，一个输入对应一个第四编码特征图；
[0019]所述因果卷积网络采用2×2的卷积核进行因果卷积，将数据按照距离当前时间点从远到近依次卷积，直到到达顶层；
[0020]所述膨胀卷积扩大因果卷积网络中输入时间步的距离；
[0021]因果卷积网络的每一层之间采用残差连接
。
[0022]可选的，所述基于所述时间特征图，通过多头注意力机制，得到注意力特征图，包括：
[0023]将所述时间特征图线性映射为固定长度的序列，得到时间特征序列；
[0024]将所述时间特征序列添加位置嵌入；一个位置对应一个时间点；
[0025]将添加了位置嵌入的时间特征序列输入多头注意力机制，得到注意力特征图
。
[0026]可选的，所述多头注意力机制包括多个多头自注意力块和多层感知器块；
[0027]每个多头自注意力块和多层感知器块的前后都进行层归一化和残差连接
。
[0028]可选的，所述
U
形全卷积神经网络的训练方法，包括：
[0029]获得训练集；所述训练集包括多个训练图像和多个真实帧图像；
[0030]将所述训练图像输入
U
形全卷积神经网络，得到预测帧图像；
[0031]基于所述预测帧图像和对应的真实帧图像，通过目标函数求取损失，得到总生成损失；
[0032]所述目标函数具体为下述计算方式：
[0033][0034]其中，为总生成损失，为强度损失，为梯度损失，为生成器损失；
λ
int
为强度损失的权重参数，
λ
gd
为梯度损失的权重参数，
λ
adv
为生成器损失的权重
参数，表示预测帧图像，
I
t+1
表示真实帧图像
。
[0035]可选的，所述强度损失具体为下述计算方式获得：
[0036][0037]其中，表示预测帧图像，
I
t+1
表示真实帧图像；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，包括：获得多张待测视频帧；所述多张待测视频帧为待预测视频中的多张连续帧的图像；所述待预测视频帧表示预测当前帧图像的下一帧图像；基于所述待测视频帧，通过编码器，得到第一编码特征图
、
第二编码特征图
、
第三编码特征图和第四编码特征图；多张待测视频帧得到多张对应的第一编码特征图
、
多张对应的第二编码特征图
、
多张对应的第三编码特征图和多张对应的第四编码特征图；基于多张第四编码特征图，通过时间卷积网络，得到时间特征图；所述时间特征图为带有时间信息的特征图；基于所述时间特征图，通过多头注意力机制，得到注意力特征图；基于所述多张对应的第一编码特征图
、
多张对应的第二编码特征图
、
多张对应的第三编码特征图和注意力特征图，通过解码器对全局和局部信息进行融合，得到预测图像；预测图像中包含车祸发生情况；所述编码器
、
时间卷积网络
、
多头注意力机制和解码器构成
U
形全卷积神经网络：所述编码器的输出为所述时间卷积网络的输入，所述时间卷积网络输出的特征图线性映射为固定长度的序列为多头注意力机制的输入；所述注意力机制编码器的输出为解码器的输入
。2.
根据权利要求1所述的一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，所述基于多张第四编码特征图，通过时间卷积网络，得到时间特征图；所述时间特征图为带有时间信息的特征图，包括：所述时间卷积网络包括因果卷积网络
、
膨胀卷积和残差连接；获得特征图时间点；所述特征图时间点为第四编码特征图对应的待测视频帧的时间点；将所述多张第四编码特征图按照特征图时间点从远到近输入因果卷积网络，得到时间特征图；一个因果卷积网络的多个输入对应一个输出，一个输入对应一个第四编码特征图；所述因果卷积网络采用2×2的卷积核进行因果卷积，将数据按照距离当前时间点从远到近依次卷积，直到到达顶层；所述膨胀卷积扩大因果卷积网络中输入时间步的距离；因果卷积网络的每一层之间采用残差连接
。3.
根据权利要求1所述的一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，所述基于所述时间特征图，通过多头注意力机制，得到注意力特征图，包括：将所述时间特征图线性映射为固定长度的序列，得到时间特征序列；将所述时间特征序列添加位置嵌入；一个位置对应一个时间点；将添加了位置嵌入的时间特征序列输入多头注意力机制，得到注意力特征图
。4.
根据权利要求3所述的一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，所述多头注意力机制包括多个多头自注意力块和多层感知器块；每个多头自注意力块和多层感知器块的前后都进行层归一化和残差连接
。5.
根据权利要求1所述的一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，所述
U
形全卷积神经网络的训练方法，包括：
获得训练集；所述训练集包括多个训练图像和多个真实帧图像；将所述训练图像输入
U
形全卷积神经网络，得到预测帧图像；基于所述预测帧图像和对应的真实帧图像，通过目标函数求取损失，得到总生成损失；所述目标函数具体为下述计算方式：其中，为总生成损失，为强度损失，为梯度损失，为生成器损失；
λ
int
为强度损失的权重参数，
λ
gd
为梯度损失的权重参数，
λ
adv
为生成器损失的权重参数，表示训练预测帧图像，
I
t+1
表示真实帧图像
。6.
根据权利要求5所述的一种融合时间卷积与自注意力机制的车祸事件检测方法，其特征在于，所述强度损失具体为下述计算方式获得：其中，表示预测帧图像，
I
t+1
表示真实帧图像；所述梯度损失具体为下述计算方式获得：其中，为强度损失，为梯度损失，为生成器损失，所述表示训练预测帧图像中横坐标为
i
纵坐标为
j
的像素点，所述
I
t+1
(i,j)
表示标注真实帧图像中横坐标为
i
纵坐标为
j
的像素点，
RMSE
为均...

【专利技术属性】
技术研发人员：龙吟，向阳，龙强，李义，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：