【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及一种全景拼接相机的高速公路事件识别方法及装置。
技术介绍
1、目前高速公路事件检测系统大多依赖传统的监控相机，可以应用于交通流量监测、交通违法行为检测、事故监测、道路堵塞监测、隧道安全监测等方面。但存在以下的问题：（1）视野受限：传统监控相机通常只能固定监控某个特定区域，视野范围有限。无法提供全方位、全景化的监控视角；（2）分辨率低：传统监控相机的分辨率相对较低，图像细节不够清晰。这会影响对细小物体或者远距离物体的识别和分析能力；（3）监控盲区：由于相机的视角有限，存在监控盲区。这就意味着在盲区内的事件无法被捕捉到，给安全监控带来一定的风险。
技术实现思路
1、传统监控相机存在视野受限、分辨率低和盲区等局限性，为了克服这些问题，本专利技术提供了一种全景拼接相机的高速公路事件识别方法及装置，可以提供更加全面的信息，帮助交通管理部门及时发现和处理各类事件；大大提高了事件检测的效率和准确性，减少了人工监控的压力。
2、本专利技术采用的技术方案是：
3、全景拼接相机的高速公路事件识别方法，其具体步骤如下：
4、步骤s1，获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本，所述监控视频流是基于多个监控相机拼接形成的全景360度视野的视频素材；
5、步骤s2，搭建包括目标特征向量和位置向量的融合模块以及时空概率预测模块作为高速公路事件识别模型；
6
7、步骤s4，获取待测的监控视频流，并将监控视频流输入到步骤s3中训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
8、进一步的，步骤s1中的训练样本需要预训练，具体包括：
9、通过特征提取网络提取每一视频图像帧中对应货车、轿车和巴士的车辆目标；
10、标记车辆目标并对标记车辆目标的图像进行预训练，以从视频图像帧中识别车辆目标。
11、进一步的，步骤s1中的特征提取网络采用yolov5，将时间长度为t的训练样本vt输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h。
12、进一步的，步骤s2的高速公路事件识别模型的构建具体如下：
13、yolov5网络中conv2，conv3，conv4和conv5输出的特征图分别为c2，c3，c4和c5，输出的特征图通过yolov5网络的后续阶段生成每个相机的多尺度特征组合成全局特征向量θ=[θ1，θ2，θ3，θ4]，将4个监控相机的图像画面进行拼接，θi 表示1-4号监控相机的特征向量；
14、采用交叉注意力算法在邻近监控相机重叠区域内的针对车辆、非机动车和行人的特征进行筛选和增强：
15、；
16、其中，为增强后特征向量，f为交叉注意力机制算法，具体实现如下：
17、；
18、其中，为的特征转置；dk表示与高速公路事件有关的车辆、非机动车和行人的向量矩阵，目的是防止的计算数值过大；
19、同时，对不同的相机视图之间进行位置感知，采用位置嵌入向量ω=[ω1，ω2，ω3，ω4]进行标记，其中ωi表示1-4号监控相机的位置向量；
20、构建时空概率预测模型：
21、离散时间t=（m，......，n）（即从时刻m到时刻n，且m＜n）内目标的时空轨迹定义为：
22、；
23、其中，j∈ij，ij表示包括车辆、非机动车和行人的特征集合；表示将监控相机采集的特征向量和位置向量进行融合操作后的特征时空向量；表示时刻m到时刻n中各类目标出现的时空向量，m＜n；表示时刻m各类目标出现的时空向量；
24、获得特征时空向量后，根据不同的高速公路事件中车辆、非机动车和行人目标的移动轨迹概率进行分类，进而实现高速公路事件类别的识别，q类事件的轨迹概率计算如下：
25、；
26、其中，yi(pj)为概率函数，训练阶段根据已知高速公路事件样本进行概率函数的训练；表示时间跨度n中发生的q类事件的轨迹概率，yq(pj)为预策概率，pj为特征时空向量，i为表示监控相机的编号，表示时间跨度n的时间内检测出q类事件的概率；
27、同时，检测阶段可以对训练获得的权重文件高速公路事件类被域内的事件进行匹配，最终输出识别的高速公路事件类型，即高速公路事件识别结果，表示为：
28、；
29、其中，为检测结果，即t时间内检测出类别为q的事件；
30、为预测概率，即t‘时间内检测出类别为q的事件的发生概率；
31、为经过序列长度t训练得到的权重。
32、进一步的，步骤s4中的待测的监控视频流是基于多个监控相机拼接形成的全景360度视野的视频素材。
33、全景拼接相机的高速公路事件识别装置，用于执行上述全景拼接相机的高速公路事件识别方法，识别装置包括处理器，所述处理器内设置有：
34、训练样本获取模块，用于获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本，所述监控视频流是基于多个监控相机拼接形成的全景360度视野的视频素材；
35、模型搭建模块，搭建包括目标特征向量和位置向量的融合模块以及时空概率预测模块作为高速公路事件识别模型；
36、模型训练模块，用于将训练样本输入到高速公路事件识别模型中进行训练，每一个训练样本首先输入到目标特征向量和位置向量的融合模块实现融合，然后采用时空概率预测模块对各类目标的轨迹进行预测识别，实现高速公路事件的语义解析，得到训练完成的高速公路事件识别模型；
37、识别结果输出模块，用于将待测监控视频流输入到训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
38、进一步的，所述处理器内还设置有特征提取模块，用于对训练文本进行预训练，提取标记车辆目标的图像的特征。
39、进一步的，所述处理器上连接有用于存储数据或指令的存储器。
40、进一步的，所述处理器上连接有用于与外部设备数据传输的传输设备。
41、进一步的，所述处理器上连接有用于与输入或输出信息的输入输出设备。
42、本专利技术的有益效果：全景拼接相机通过将多个相机的图像进行融合，可以提供高分辨率、全景化的视角，有效地监测和记录高速公路上发生的各种交通事件和情况。首先，全景拼接相机可以实现对整个路段的全方位监控。通过将多个相机的图像进行拼接，可本文档来自技高网...
【技术保护点】
1.全景拼接相机的高速公路事件识别方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤S1中的训练样本需要预训练，具体包括：
3.根据权利要求2所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤S1中的特征提取网络采用YoloV5，将时间长度为T的训练样本VT输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h。
4.根据权利要求3所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤S2的高速公路事件识别模型的构建具体如下：
5.根据权利要求1所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤S4中的待测的监控视频流是基于多个监控相机拼接形成的全景360度视野的视频素材。
6.全景拼接相机的高速公路事件识别装置，用于执行权利要求1至5任意一项所述的全景拼接相机的高速公路事件识别方法，识别装置包括处理器，其特征在于：所述处理器内设置有：
7.根据权利要求6所述的全景拼接相机的高速公路事件识别装置，其特征在于：所述处
8.根据权利要求6所述的全景拼接相机的高速公路事件识别装置，其特征在于：所述处理器上连接有用于存储数据或指令的存储器。
9.根据权利要求6所述的全景拼接相机的高速公路事件识别装置，其特征在于：所述处理器上连接有用于与外部设备数据传输的传输设备。
10.根据权利要求6所述的全景拼接相机的高速公路事件识别装置，其特征在于：所述处理器上连接有用于与输入或输出信息的输入输出设备。
...【技术特征摘要】
1.全景拼接相机的高速公路事件识别方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤s1中的训练样本需要预训练，具体包括：
3.根据权利要求2所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤s1中的特征提取网络采用yolov5，将时间长度为t的训练样本vt输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h。
4.根据权利要求3所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤s2的高速公路事件识别模型的构建具体如下：
5.根据权利要求1所述的全景拼接相机的高速公路事件识别方法，其特征在于：步骤s4中的待测的监控视频流是基于多个监控相机拼接形成的全景360度视野的视频素材。
6.全景...
【专利技术属性】
技术研发人员：郭斌，颜世航，陈洁涵，王伟丽，诸水清，陈明，
申请(专利权)人：杭州感想科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。