【技术实现步骤摘要】
本专利技术涉及工业安全监控领域，具体涉及一种采用三维点云信息修正二维图像坐标的叉车碰撞预警系统及方法。
技术介绍
1、随着工业自动化的不断深入，叉车在生产制造车间的应用愈加频繁。然而，由于车间内操作环境复杂、人员密集、物料堆放不规范等问题，叉车在日常操作过程中存在较高的碰撞风险。特别是在视线被阻挡、光照条件不佳或操作人员对周围环境感知不足的情况下，叉车碰撞事故频发，不仅对企业造成了巨大的经济损失，还带来了严重的安全隐患。随着计算机视觉技术的飞速发展，基于技术手段的防护方案正逐渐替代传统的人力防护成为车间安全管理的重点。
2、目前，市面上的叉车碰撞预警系统大多采用视觉传感器结合目标检测与跟踪算法来实现防护预警。这些系统通常采用逆透视变换技术，先校正由于相机镜头和安装位置带来的透视畸变，再结合目标检测算法识别出叉车、行人等关键物体，通过计算其相对位置来推测碰撞风险。然而，这类基于逆透视变换的技术在实际应用中准确性高度依赖于相机的安装位置和校准精度。如果相机的安装角度稍有偏差，或者车间环境发生变化导致相机位置发生轻微移动，逆透视变换的效果会显著下降，导致检测精度下降。
3、在三维点云目标检测中，三维点云数据直接反映了三维空间中的物体信息，每个点都包含了三维坐标、反射强度等信息；并且目前的三维点云目标检测技术具备很强的泛华能力，能很好的解决逆透视变换方法存在的问题。然而三维点云需要强大的硬件计算资源，对叉车碰撞预警这样实时性很高的任务，是一个巨大的挑战。针对以上问题，本专利技术提供一种采用三维点云信息修正二维图像
技术实现思路
1、本专利技术的目的在于：针对上述存在的问题，提供一种采用三维点云信息修正二维图像坐标的叉车碰撞预警系统及方法，系统采集叉车工作区域的视频流数据及三维点云数据，并对视频流图像和点云中的目标进行检测，通过在图像目标坐标与点云目标坐标之间训练映射模型的方式，利用映射模型对图像目标坐标进行实时修正，减小因相机镜头和安装位置产生的透视畸变的影响，提升目标检测中目标距离计算的准确性。同时，三维点云数据的采集与检测、映射模型的训练均在后台进行，在保证实时性的同时，以固定时间更新一次映射模型的方式，提升了系统适应动态场景变化的能力。
2、本专利技术的技术方案如下：
3、本专利技术公开了一种采用三维点云信息修正二维图像坐标的叉车碰撞预警系统，包括视频数据采集模块、三维点云数据采集模块、图像目标检测模块、三维点云目标检测模块、修正模型训练模块、坐标修正模块、目标跟踪模块、目标距离计算模块和报警模块；
4、所述视频数据采集模块，用于采集叉车工作区域的视频流数据；
5、所述三维点云数据采集模块，用于采集叉车工作区域的点云数据；
6、所述图像目标检测模块，用于检测视频流图像中的目标；
7、所述三维点云目标检测模块，用于检测点云数据中的目标；
8、所述修正模型训练模块，用于在图像目标坐标与点云目标坐标之间训练映射模型，并对坐标修正模块中的模型进行定期更新；
9、所述坐标修正模块，用于对图像目标坐标进行回归计算，得到修正后的坐标；
10、所述目标跟踪模块，用于对每一个检测目标进行唯一编号，并在后续的视频帧中持续跟踪目标，判断每个目标的前进方向；
11、所述目标距离计算模块，依据修正后的坐标，计算叉车与其前进方向上周围物体之间的距离；
12、所述报警模块，当叉车与周围物体之间的距离小于设定阈值，触发报警器报警，同时向车间管理人员发送通知。
13、本专利技术还公开了一种采用三维点云信息修正二维图像坐标的叉车碰撞预警方法,包括：
14、步骤一：实时采集叉车工作区域的视频流，自动检测视频中的目标；
15、步骤二：若同时检测到人和叉车，则将检测到的目标二维坐标传入坐标修正模块；若未检测到叉车，则返回步骤一，继续循环监控；若连续k帧同时检测到人和叉车，触发采集1帧叉车工作区域的三维点云数据，并自动检测点云中的目标，判断点云目标与第k帧图像目标是否匹配；若匹配，提取目标的二维坐标、图像、三维坐标，传入修正模型训练模块；若不匹配，点云数据采集等待下次触发。
16、步骤三：通过深度学习算法在图像目标坐标与点云目标坐标之间训练映射模型，并对坐标修正模块中的模型进行定期更新；
17、步骤四：根据映射模型对传入的二维坐标进行回归计算，得到修正后的坐标；
18、步骤五：对每一个检测目标进行唯一编号，并在后续的视频帧中持续跟踪这些目标；通过目标在连续帧中的位置变化，判断每个目标的前进方向。
19、步骤六：依据修正后的坐标，结合每个目标的前进方向，计算叉车与其前进方向上周围物体之间的距离；当距离小于设定阈值时，报警模块触发报警。
20、进一步的，所述步骤二还包括：
21、s21、目标标注：从步骤一采集的视频中提取包含叉车和人的目标图像，并对这些图像进行标注，生成包含目标位置和类别的标注文件，以构建图像目标检测数据集；针对三维点云数据也对叉车和人进行标注，生成包含目标位置、方向、类别的标注文件，同时提取同时刻采集的图像数据，构建包含图像和三维点云目标的检测数据集；
22、s22、模型训练：图像目标检测部分采用yolov8n算法，对图像目标检测数据集进行训练；三维点云目标检测部分采用mvx-net对三维点云数据集进行训练，其中图像特征提取部分采用resnet50。
23、进一步的，所述二维坐标包括目标检测框的中心点坐标（cx，cy）、宽度（w）和高度（h），表示为（cx，cy，w，h）。
24、进一步的，所述三维坐标包括目标三维检测框的中心点坐标（cxpoint，cypoint，czpoint）、长度（lpoint）、宽度（wpoint）和高度（hpoint），表示为（cxpoint，cypoint，czpoint，lpoint，wpoint，hpoint）。
25、进一步的，所述步骤六中，叉车与周围物体之间的距离：
26、
27、其中表示第i个目标与第j个目标的距离，（，）表示修正后的第i个目标中心点的坐标，（，）表示修正后的第j个目标中心点的坐标。
28、进一步的，所述步骤三包括：
29、s31、采用resnet50对输入的图像（3×640×640）进行特征提取，输出4个尺度的特征向量，形状分别为（64×320×320）、（256×160×160）、（512×80×80）、（1024×40×40）；
30、s32、对传入的目标二维坐标（cxi-n，cyi-n，wi-n，hi-n）进行拼接，得到输入向量形状为（n×4）；其中i表示第i个目标，n表示检测到的目标个数，4对应目标本文档来自技高网...
【技术保护点】
1.一种采用三维点云信息修正二维图像坐标的叉车碰撞预警系统，其特征在于，包括视频数据采集模块、三维点云数据采集模块、图像目标检测模块、三维点云目标检测模块、修正模型训练模块、坐标修正模块、目标跟踪模块、目标距离计算模块和报警模块；
2.一种采用三维点云信息修正二维图像坐标的叉车碰撞预警方法,其特征在于，包括：
3.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，
4.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述图像目标坐标包括目标检测框的中心点坐标（Cx，Cy）、宽度（W）和高度（H），表示为（Cx，Cy，W，H）。
5.据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述点云目标坐标包括目标三维检测框的中心点坐标（Cxpoint，Cypoint，Czpoint）、长度（Lpoint）、宽度（Wpoint）和高度（Hpoint），表示为（Cxpoint，Cypoint，Czpoint，Lpoint，Wpoint，Hpoi
6.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述步骤三包括：
7.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述步骤三还包括：当修正模型训练模块中累计传入的图像、二维坐标、三维坐标等数据达到一周的采集量时，开始进行图像目标坐标与三维点云目标坐标之间的映射模型训练，训练方式为对已有模型进行微调，保证映射模型每周更新一次。
8.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述步骤六中，叉车与周围物体之间距离的计算公式为：
...【技术特征摘要】
1.一种采用三维点云信息修正二维图像坐标的叉车碰撞预警系统，其特征在于，包括视频数据采集模块、三维点云数据采集模块、图像目标检测模块、三维点云目标检测模块、修正模型训练模块、坐标修正模块、目标跟踪模块、目标距离计算模块和报警模块；
2.一种采用三维点云信息修正二维图像坐标的叉车碰撞预警方法,其特征在于，包括：
3.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，
4.根据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述图像目标坐标包括目标检测框的中心点坐标（cx，cy）、宽度（w）和高度（h），表示为（cx，cy，w，h）。
5.据权利要求2所述的采用三维点云信息修正二维图像坐标的叉车碰撞预警方法，其特征在于，所述点云目标坐标包括目标三维检测框的中心点坐标（cxpo...
【专利技术属性】
技术研发人员：张云东，樊圣澜，李江乐，李佶洋，戚麟，杨松，丁锐，钱瑜，
申请(专利权)人：云南昆船设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。