一种基于深度学习与数字孪生的叉车作业安全预警系统技术方案

本发明专利技术公开了一种基于深度学习与数字孪生的叉车作业安全预警系统，该安全预警系统包括实时视频流监测模块、数字孪生虚拟场景预警模块、数据管理模块及数据库；实时视频流监测模块能够实现障碍物目标识别和距离测定、以及路面湿滑情况识别，并通过通信方式将深度学习后的数据存入数据库；数字孪生虚拟场景预警模块包括孪生场景搭建及可视化实现功能；数据管理模块包括数据调取和安全预警分级准则，通过通信的方式读取数据库中的数据；数字孪生虚拟场景预警模块与数据管理模块的数据调取功能建立通信以读取数据，实现孪生场景的可视化预警。本发明专利技术的预警系统能够大大减少安全事故的发生，实现作业区域虚实结合的可视化监控，提高叉车使用的安全性。高叉车使用的安全性。高叉车使用的安全性。

【技术实现步骤摘要】
一种基于深度学习与数字孪生的叉车作业安全预警系统


[0001]本专利技术涉及叉车作业安全预警
，具体地说是一种基于深度学习与数字孪生的叉车作业安全预警系统。

技术介绍

[0002]叉车作为一种用于工业现场的货物搬运车辆，其能够在一定的距离范围内搬运较大重量的货物，因此被广泛应用于货物仓储及物流运输。叉车作业过程中也出现了诸多安全问题，如叉车与人发生碰撞产生伤亡事故，因地面湿滑或叉车超速产生侧翻安全事故等。目前叉车作业安全预警主要采取的方式是利用RFID方式，在作业区域设置信号接收基站，并在作业区域内的叉车、人员、障碍物上设置信号标签，以避免发生碰撞，但采用该方式存在设备价格高、设备数量需求多等缺点，不利于大规模使用。

技术实现思路

[0003]本专利技术的目的是针对目前叉车作业安全预警存在设备价格高、设备数量需求多、不利于大规模使用且无法实现作业区域的可视化监控等不足，提供一种基于深度学习与数字孪生的叉车作业安全预警系统。
[0004]本专利技术的目的是通过以下技术方案解决的：
[0005]一种基于深度学习与数字孪生的叉车作业安全预警系统，采用深度学习与数字孪生技术构建叉车作业安全预警系统，实现叉车作业区域行人、货物、叉车以及地面湿滑程度状态信息感知和风险预警。该安全预警系统包括实时视频流监测模块、数字孪生虚拟场景预警模块、数据管理模块及数据库；实时视频流监测模块能够实现双目相机障碍物目标监测功能、双目相机障碍物目标测距功能、双目相机地面湿滑程度识别功能，实时视频流监测模块通过分别安装在叉车顶部位置和叉车货叉底部的双目相机采集叉车作业区域视频流数据，经深度学习后实现障碍物目标识别和距离测定、以及路面湿滑情况识别，并通过通信方式将深度学习后的数据存入数据库；数字孪生虚拟场景预警模块包括孪生场景搭建及可视化实现功能；数据管理模块包括数据调取和安全预警分级准则，通过通信的方式读取数据库中的数据；数字孪生虚拟场景预警模块与数据管理模块的数据调取功能建立通信以读取数据，实现孪生场景的可视化预警。
[0006]位于叉车顶部位置的双目相机采集的叉车作业区域视频流数据用于对叉车作业区域中的行人、货物、叉车进行障碍物目标识别和距离测定；位于叉车货叉底部的双目相机采集的叉车作业区域视频流数据用于对叉车作业区域中的路面湿滑情况进行识别。
[0007]所述叉车作业安全预警系统的构建方法为：
[0008]S1、基于深度学习实现叉车作业区域视频流中的障碍目标识别、距离测定、以及路面湿滑情况识别；
[0009]S2、设计叉车作业状态安全预警分级准则，考虑叉车与障碍物间距离及路面湿滑情况，分析风险耦合程度，建立基于风险耦合的叉车作业状态安全预警分级准则；
[0010]S3、建立基于数字孪生的叉车作业安全管理系统，实现数据集成、虚拟场景调用和预警信息提示，实时可视化监控叉车行驶安全。
[0011]所述步骤S1中的基于深度学习实现叉车作业区域视频流中的障碍目标识别、距离测定的具体步骤为：
[0012]S11、建立叉车作业安全影响因素数据集，利用叉车顶部双目相机采集叉车作业区域障碍物视频流图像，建立包括行人、货物、叉车的障碍物数据集；利用叉车货叉底部的双目相机采集叉车作业区域路面湿滑情况视频流图像，建立路面数据集；整合障碍物数据集和路面数据集，生成叉车作业安全影响因素数据集；
[0013]S12、设计叉车作业安全预警目标监测模型，利用步骤S11制作的叉车作业安全影响因素数据集，采用深度学习算法训练叉车作业安全影响因素目标监测网络模型，识别叉车作业区域障碍物视频流中的叉车作业安全影响因素目标；
[0014]S13、基于相似三角形原理，利用叉车顶部双目相机采集叉车作业区域障碍物视频流图像，实时获得障碍物与叉车顶部双目相机间的水平距离D，构建叉车作业安全预警距离监测模型。
[0015]所述步骤S11中的障碍物数据集中的行人数据集采用公开数据集或自建数据集；叉车数据集、货物数据集及路面数据集在真实作业环境拍摄采集，采集的图片经过标注，生成对应的标注文件，每个标注文件中包括目标框坐标和标注目标类别；完成叉车作业安全影响因素数据集制作。
[0016]所述步骤S12中的叉车作业安全预警目标监测模型利用步骤S11制作的叉车作业安全影响因素数据集、采用改进的YOLOv5深度学习算法训练叉车作业安全影响因素目标监测网络模型，识别叉车作业区域障碍物视频流中的叉车作业安全影响因素目标，具体构建步骤为：在单阶段目标监测算法YOLOv5基础上，Backbone主干网络添加通道注意力机制SE，在Neck颈部网络中改用加权双向特征金字塔网络替换FPN+PAN网络结构，最后得到叉车作业安全预警目标监测模型YOLOv5
‑
FL。
[0017]所述步骤S13中的障碍物与叉车顶部双目相机间的水平距离D的测算公式为：
[0018][0019]式中，D障碍物与叉车顶部双目相机间的水平距离，单位为m，h为双目相机安装在叉车顶部的位置距地面的高度，θ为双目相机摄像头的俯仰角，f为双目相机摄像头的焦距，y2‑
y1为目标监测图像坐标系中的目标框的宽度。
[0020]所述步骤S1中的路面湿滑情况识别的具体步骤为：判断路面湿滑程度时，依据障碍物目标监测结果赋予路面湿滑程度值Q
t
，将路面湿滑程度分为无湿滑、有湿滑无打滑风险、有湿滑有打滑风险；根据障碍物目标监测到的目标框宽
×
高的面积作为判断依据，无目标框出现时认为无湿滑情况，此时赋值Q
t1
；当监测到目标框时，若目标框宽
×
高的面积时，认为有湿滑无打滑风险，此时赋值Q
t2
；若目标框宽
×
高的面积时，认为有湿滑有打滑风险，此时赋值Q
t3
；S
t
为目标框的宽
×
高面积，S为视频流图像面积，比较的是目标框在视频流图像中的占比。
[0021]所述步骤S2中的设计叉车作业状态安全预警分级准则的详细步骤为：
[0022]S21、建立距离预警级别准则，考虑叉车驾驶员操作的反应时间，以相对距离L为依据，建立三级预警级别，距离预警级别准则划分标准为：
[0023]一级预警与二级预警临界距离为：
[0024]二级预警与三级预警临界距离为：
[0025]式中，v0为正常匀速行驶时的速度，a
max
为最大制动加速度，t1,t2,t3分别为驾驶员反应时间、叉车制动器反应时间和制动加速度增长时间；
[0026]S22、判断障碍物与叉车顶部双目相机间的水平距离D、即障碍物与叉车间距离的风险程度时，根据采集目标测距所得距离，将障碍物与叉车顶部双目相机间的水平距离D与距离预警级别准则比较，得到距离预警级别且分别赋值Q
L1
、Q
L2
、Q
L3
；
[0027]S23、建立综本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：该安全预警系统包括实时视频流监测模块、数字孪生虚拟场景预警模块、数据管理模块及数据库；实时视频流监测模块能够实现双目相机障碍物目标监测功能、双目相机障碍物目标测距功能、双目相机地面湿滑程度识别功能，实时视频流监测模块通过分别安装在叉车顶部位置和叉车货叉底部的双目相机采集叉车作业区域视频流数据，经深度学习后实现障碍物目标识别和距离测定、以及路面湿滑情况识别，并通过通信方式将深度学习后的数据存入数据库；数字孪生虚拟场景预警模块包括孪生场景搭建及可视化实现功能；数据管理模块包括数据调取和安全预警分级准则，通过通信的方式读取数据库中的数据；数字孪生虚拟场景预警模块与数据管理模块的数据调取功能建立通信以读取数据，实现孪生场景的可视化预警。2.根据权利要求1所述的基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：位于叉车顶部位置的双目相机采集的叉车作业区域视频流数据用于对叉车作业区域中的行人、货物、叉车进行障碍物目标识别和距离测定；位于叉车货叉底部的双目相机采集的叉车作业区域视频流数据用于对叉车作业区域中的路面湿滑情况进行识别。3.根据权利要求1或2所述的基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：所述叉车作业安全预警系统的构建方法为：S1、基于深度学习实现叉车作业区域视频流中的障碍目标识别、距离测定、以及路面湿滑情况识别；S2、设计叉车作业状态安全预警分级准则，考虑叉车与障碍物间距离及路面湿滑情况，分析风险耦合程度，建立基于风险耦合的叉车作业状态安全预警分级准则；S3、建立基于数字孪生的叉车作业安全管理系统，实现数据集成、虚拟场景调用和预警信息提示，实时可视化监控叉车行驶安全。4.根据权利要求3所述的基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：所述步骤S1中的基于深度学习实现叉车作业区域视频流中的障碍目标识别、距离测定的具体步骤为：S11、建立叉车作业安全影响因素数据集，利用叉车顶部双目相机采集叉车作业区域障碍物视频流图像，建立包括行人、货物、叉车的障碍物数据集；利用叉车货叉底部的双目相机采集叉车作业区域路面湿滑情况视频流图像，建立路面数据集；整合障碍物数据集和路面数据集，生成叉车作业安全影响因素数据集；S12、设计叉车作业安全预警目标监测模型，利用步骤S11制作的叉车作业安全影响因素数据集，采用深度学习算法训练叉车作业安全影响因素目标监测网络模型，识别叉车作业区域障碍物视频流中的叉车作业安全影响因素目标；S13、基于相似三角形原理，利用叉车顶部双目相机采集叉车作业区域障碍物视频流图像，实时获得障碍物与叉车顶部双目相机间的水平距离D，构建叉车作业安全预警距离监测模型。5.根据权利要求4所述的基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：所述步骤S11中的障碍物数据集中的行人数据集采用公开数据集或自建数据集；叉车数据集、货物数据集及路面数据集在真实作业环境拍摄采集，采集的图片经过标注，生成对应的标注文件，每个标注文件中包括目标框坐标和标注目标类别；完成叉车作业安全影响因素数据集制作。
6.根据权利要求4所述的基于深度学习与数字孪生的叉车作业安全预警系统，其特征在于：所述步骤S12中的叉车作业安全预警目标监测模型利用步骤S11制作的叉车作业安全影响因素数据集、采用改进的YOLOv5深度学习算法训练叉车作业安全影响因素目标监测网络模型，识别叉车作业区域障碍物视频流中的叉车作业安全影响因素目标，具体构建步骤为：在单阶段目标监测算法YOLOv5基础上，Backbone主干网络添加通道注意力机制SE，在Neck颈部网络中改用加权双向特征金字塔网络替换FPN+PAN网络结构，最后得到叉车作业安全预警目标监测模型YOLOv5
‑
FL。7.根据权利要求4所述的基于深...

【专利技术属性】
技术研发人员：王毅，李向东，赵彬，李明，张新东，涂春磊，王月新，顾旭波，刘宗斌，施晓江，高蔚，
申请(专利权)人：江苏省特种设备安全监督检验研究院，
类型：发明
国别省市：