融合自注意力机制和残差网络的湖边危险行为检测方法技术

本发明专利技术涉及人工智能技术领域，具体涉及一种融合自注意力机制和残差网络的湖边危险行为检测方法，包括获取训练视频序列和测试视频序列；对训练视频序列依次进行图像增强和运动目标检测，得到训练数据集；对训练数据集进行筛选，得到输入数据集；使用输入数据集对长短期记忆神经网络进行训练，得到行为检测模型；对测试视频序列依次进行图像增强和运动目标检测，得到测试数据集；将测试数据集输入行为检测模型中进行训练，得到危险行为检测结果。本发明专利技术通过对视频序列进行图像增强后再进行行为检测，解决了现有的行为检测技术手段的危险行为检测的准确率低的问题。险行为检测的准确率低的问题。险行为检测的准确率低的问题。

【技术实现步骤摘要】
融合自注意力机制和残差网络的湖边危险行为检测方法


[0001]本专利技术涉及人工智能
，尤其涉及一种融合自注意力机制和残差网络的湖边危险行为检测方法。

技术介绍

[0002]目前，随着国家经济的持续发展，公共场所人员安全问题也受到越来越多的关注。公共安全是国家安全中不可缺少的一部分，是推动社会进步的重要保障，关乎国计民生。我国社会面临的公共安全问题呈现多样、易发的特点，落水溺水在众多安全问题中尤为突出，一旦发生落水溺水事故，人们的生命安全受到严重威胁，并且对社会的稳定势必造成极大地冲击。因此通过湖边监控视频来预防行人翻越围栏或失足落水导致落水溺水事故的发生、维护公共安全有着重要意义。
[0003]我国正在迅速迈进现代化社会，在此转型的关键时间段，落水溺水事故不断发生。据世界卫生组织《全球溺水报告》显示，全球每小时有40多人溺水死亡，每年共有约37.2万人溺水死亡，而半数以上溺水死亡者都不足25岁。我国每年约有5.9万人死于溺水，其中未成年人占据了95％以上。其中攀越围栏失足落水导致溺亡的人们就占据了38％，并且7、8月发生的溺水事件也呈现高发态势。8月份溺水案例占比最高，占全年溺水案例的17.49％。
[0004]2022年5月6日在江苏徐州发生一起跳河事件，一对年轻男女先后跳河，最终导致一人死亡的惨剧。据知情人士透露，事件发生在江苏徐州市沛县，一对年轻男女先是发生激烈争吵，紧接着二人先后跳入附近的河中，女子获救上岸，无生命危险，男子于当天中午被打捞上岸，已不幸身亡。2021年6月12日凌晨3时52分，河南省长葛市清潩河赵庄桥南侧发生一起跳河溺亡事故。经调查，当事人一行7人在河边喝酒，期间有人有厌世语言，其中1人突然翻越护栏跳入河中，后相继又有5人入水；2020年，江苏17岁高中因为班主任的批评，心里承受不了，翻越围栏生跳河自尽；
[0005]如今在溺水事故如此频发的环境下，如果使用人工进行实时监控行人在湖边失足落水的隐患，而且还会需要耗费大量人力物力。通过行为检测技术手段可以减低人工、时间成本，但是在现实的湖边场景中，存在夜晚光线不足弱光导致监控拍摄到的图像可见度低、图像多尺度等问题导致危险行为检测的准确率低。如果行人的危险行为能够被及时检测并及时发送警报，就能很大程度上降低损失，具有极其深远的理论研究意义。

技术实现思路

[0006]本专利技术的目的在于提供一种融合自注意力机制和残差网络的湖边危险行为检测方法，旨在解决现有的行为检测技术手段的危险行为检测的准确率低的问题。
[0007]为实现上述目的，本专利技术提供了一种融合自注意力机制和残差网络的湖边危险行为检测方法，包括以下步骤：
[0008]S1获取训练视频序列和测试视频序列；
[0009]S2对所述训练视频序列依次进行图像增强和运动目标检测，得到训练数据集；
[0010]S3对所述训练数据集进行筛选，得到输入数据集；
[0011]S4使用所述输入数据集对长短期记忆神经网络进行训练，得到行为检测模型；
[0012]S5对所述测试视频序列依次进行图像增强和运动目标检测，得到测试数据集；
[0013]S6将所述测试数据集输入所述行为检测模型中进行训练，得到危险行为检测结果。
[0014]其中，所述获取测试视频序列，包括：
[0015]获取湖边当前监控视频，并提取所述当前监控视频的关键帧图像，得到测试视频序列。
[0016]其中，所述对所述测试视频序列依次进行图像增强和运动目标检测，得到测试数据集，包括：
[0017]S51使用MSRCR方法对所述测试视频序列进行图像增强，得到增强数据集；
[0018]S52将所述增强数据集输入改进的Yolov5模型进行目标检测，得到行人图像；
[0019]S53将所述行人图像输入caffe模型中提取人体骨架，得到测试数据集。
[0020]其中，所述使用MSRCR方法对所述测试视频序列进行图像增强，得到增强数据集，包括：
[0021]S511使用高斯函数对所述测试视频序列进行低通滤波，得到滤波数据集；
[0022]S512将所述测试视频序列与所述滤波数据集转换到对数域做差，得到对数域的反射图像；
[0023]S513多尺度重复步骤S511
‑
S512，直至重复次数到达预设值，得到多个反射图像，并将多个所述反射图像在像素层面上进行图像求和，得到MSR结果；
[0024]S514对所述测试视频序列求和，得到归一化因子；融合所述归一化因子进行权重矩阵归一化后转换到对数域，得到图像颜色增益；
[0025]S515将所述MSR结果按照所述图像演策增益进行组合，得到组合结果；
[0026]S516对所述组合结果进行图像恢复，得到增强数据集。
[0027]其中，所述将所述增强数据集输入改进的Yolov5模型进行目标检测，得到测试数据集，包括：
[0028]S521在Yolov5模型中引入自注意力模型和ResNet残差网络，并将FPN特征金字塔换成PANET金字塔，得到改进的Yolov5模型；
[0029]S522将所述增强数据集输入所述改进的Yolov5模型进行目标检测，得到行人图像。
[0030]本专利技术的一种融合自注意力机制和残差网络的湖边危险行为检测方法，通过获取训练视频序列和测试视频序列；对所述训练视频序列依次进行图像增强和运动目标检测，得到训练数据集；对所述训练数据集进行筛选，得到输入数据集；使用所述输入数据集对长短期记忆神经网络进行训练，得到行为检测模型；对所述测试视频序列依次进行图像增强和运动目标检测，得到测试数据集；将所述测试数据集输入所述行为检测模型中进行训练，得到危险行为检测结果。本专利技术通过对视频序列进行图像增强后再进行行为检测，解决了现有的行为检测技术手段的危险行为检测的准确率低的问题。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是本专利技术提供的一种融合自注意力机制和残差网络的湖边危险行为检测方法的原理图。
[0033]图2是SwinTransformer原理示意图。
[0034]图3是Openpse原理示意图。
[0035]图4是LSTM原理示意图。
[0036]图5是本专利技术提供的一种融合自注意力机制和残差网络的湖边危险行为检测方法的流程图。
具体实施方式
[0037]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合自注意力机制和残差网络的湖边危险行为检测方法，其特征在于，包括以下步骤：S1获取训练视频序列和测试视频序列；S2对所述训练视频序列依次进行图像增强和运动目标检测，得到训练数据集；S3对所述训练数据集进行筛选，得到输入数据集；S4使用所述输入数据集对长短期记忆神经网络进行训练，得到行为检测模型；S5对所述测试视频序列依次进行图像增强和运动目标检测，得到测试数据集；S6将所述测试数据集输入所述行为检测模型中进行训练，得到危险行为检测结果。2.如权利要求1所述的融合自注意力机制和残差网络的湖边危险行为检测方法，其特征在于，所述获取测试视频序列，包括：获取湖边当前监控视频，并提取所述当前监控视频的关键帧图像，得到测试视频序列。3.如权利要求2所述的融合自注意力机制和残差网络的湖边危险行为检测方法，其特征在于，所述对所述测试视频序列依次进行图像增强和运动目标检测，得到测试数据集，包括：S51使用MSRCR方法对所述测试视频序列进行图像增强，得到增强数据集；S52将所述增强数据集输入改进的Yolov5模型进行目标检测，得到行人图像；S53将所述行人图像输入caffe模型中提取人体骨架，得到测试数据集。4.如权利要求3所述的融合自注意力机制和残差网络的湖...

【专利技术属性】
技术研发人员：雷亮，陈小庆，张文萍，陈毅，秦兰瑶，和圆圆，尹衍伟，梁明辉，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：