【技术实现步骤摘要】
本专利技术涉及计算机视觉和叉车驾驶员行为监控，尤其涉及基于点云数据处理和边缘提取的叉车驾驶员行为监控方法。
技术介绍
1、随着工业自动化和智能化的发展，叉车作为物流与仓储中的重要设备，其驾驶员行为的监控变得至关重要。传统的叉车安全监控系统主要依赖于简单的视频监控和报警设备，无法实时、精准地捕捉驾驶员的行为，特别是在复杂工况下的异常行为。这些系统通常依靠摄像头采集的图像数据来监控驾驶员的状态，但对于实时监控以及对细微驾驶行为特征的识别往往存在不足。尤其是在驾驶员面部遮挡、姿态多变或者环境光线不佳的情况下，这些系统难以实现对驾驶员的精确监控和有效管理。
2、目前已有的技术在驾驶员行为识别方面大多采用基于2d图像的计算机视觉方法，如人脸检测、疲劳检测、姿态分析等。这些方法主要依赖于rgb图像数据，通过传统的图像处理算法或深度学习技术来进行检测。然而，这些方法的性能在很大程度上受到光照条件、拍摄角度以及环境遮挡等因素的影响。在强光、背光或遮挡的情况下，2d图像的信息可能会失真或丢失，导致行为识别的准确性下降。此外，由于rgb图像无法提供足够的深度信息，使得系统在进行复杂的三维行为分析时存在很大的局限性。
3、驾驶行为特征分析技术对工业车辆操作人员的行为进行数据采集和分析，进一步优化系统，实现自学习功能。驾驶行为特征分析技术主要分为两个部分：驾驶场景的切换和操作行为模型。其中：驾驶场景的切换包括：程序在驾驶场景过程中会通过车载摄像头、位置传感器、车载雷达等将驾驶场景周边采集到的音视频信号数据处理后上传至服务器；服务
4、基于人脸特征分类算法的人脸姿态估计方法实质是通过图像表观特征进行姿态分类的方法，可以看作一种模式分类或回归问题。这种方法的一般分为两步，第一步，提取某种图像表示；第二步，采取某种流行嵌入算法将原始的高维特征映射到低维空间，并对这一低维特征进行分类，从而实现人脸姿态的估计。其中，提取某种图像表示是非常关键的步骤，为了得到更好的人脸姿态估计性能，提取的图像表示应该与人脸姿态变化紧密相关，并尽量与其它因素无关，如人的身份表情、光照等。常用的面部特征包括lbp特征、hog特征等。
5、基于深度学习的驾驶行为分析需要针对不同的数据特征进行深度学习模型的设计。当前，在深度学习模型研究中，卷积神经网络（cnn）、长短时记忆网络（lstm）以及自编码器（ae）等模型均已被广泛应用于驾驶行为分析中。其中，cnn通常用于对图像信息进行处理，lstm通常用于对时序信息进行处理，ae通常用于对自编码数据进行处理。同时，二三维卷积网络（vgg）、残差神经网络（resnet）以及注意力机制网络（attention）等模型也被广泛应用于深度学习领域，逐步实现端到端学习。
6、然而，目前这些方法的性能在很大程度上依赖于从rgb图像中提取的物体外观特征，而包含丰富层次信息的深度图像或点云数据仅发挥了很小的作用。
7、因此，如何提供基于点云数据处理和边缘提取的叉车驾驶员行为监控方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本专利技术的一个目的在于提出基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，本专利技术通过点云数据处理和边缘特征提取相结合，采用创新的特征提取与融合技术，实现了对叉车驾驶员的异常行为精准监控。通过摄像机采集的rgb-d图像和3d点云模型，融合多模态特征，有效增强了对复杂场景中驾驶员行为特征的识别能力。进一步，通过优化的人脸姿态估计算与canny边缘检测算法，以及自演化特征图网络，使系统在光照变化、遮挡和复杂环境下的适应性显著提升，最终实现对异常行为的高精度识别，具备识别准确性高、实时性强和环境鲁棒性优异的优点。
2、根据本专利技术实施例的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，包括如下步骤：
3、s1、通过摄像机采集叉车驾驶员的rgb-d图像和3d点云模型集合，生成用于行为监控的数据集；
4、s2、通过人脸关键点检测模块，从数据集的3d点云模型集合中提取形状先验点云，利用局部二值特征信息算法，生成固定维度的二值化人脸关键点特征；
5、s3、通过人脸姿态估计模块提取在深度相机下的观测点云，并基于优化的softmax分类器，利用人脸姿态估计算法生成叉车驾驶员的人脸姿态特征；
6、s4、基于边缘特征提取模块的大卷积核方式，利用优化的canny边缘检测算法，获取完整的叉车驾驶员行为边缘特征；
7、s5、融合人脸关键点特征、人脸姿态特征和行为边缘特征，生成多模态综合特征；
8、s6、利用自演化特征图网络对多模态综合特征进行分析，判断叉车驾驶员是否存在异常行为，并生成异常报警信号；
9、s7、将异常行为检测结果上传至服务器，进行数据分析和决策支持。
10、可选的，所述s2的局部二值特征信息算法具体包括：
11、s21、使用随机森林模型对每个实例的3d点云模型集合进行处理，获得人脸的初步分类结果，所述分类结果作为局部二值特征信息；
12、s22、在某一面部特征点的某轮迭代过程中，增加一个样本分别通过随机森林中各个决策树的部分节点，最终到达决策树的叶节点；
13、s23、将样本到达的叶节点的输出结果置为1，其余叶节点的输出结果置为0，并串联为一个固定维度的二值化编码，作为固定维度的二值化人脸关键点特征。
14、可选的，所述s3中优化的softmax分类器的函数为：
15、；
16、其中，表示softmax层的某一输入样本，表示对应的网络判别输出，表示模型参数，k表示训练样本的类别总数，j表示softmax层的输出端编号，且；
17、由式可见，softmax分类器其实质是一个带参归一化过程，它通过简单的监督训练便可以实现较高准确率的样本分类工作，且其计算过程简单具有不错的分类实时性。
18、所述softmax分类器的输入样本为面部特征点的相对位置信息按照上下和左右两个方向分别组合成一个4维特征和一个5维特征，对人脸姿态的水平和竖直两个方向进行姿态评估。
19、可选的，所述s3的人脸姿态估计算法具体包括：
20、s本文档来自技高网...
【技术保护点】
1.基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述S2的局部二值特征信息算法具体包括：
3.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述S3中优化的SoftMax分类器的函数为：
4.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述S3的人脸姿态估计算法具体包括：
5.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述S4的Canny边缘检测算法具体包括：
6.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述S6具体包括：
【技术特征摘要】
1.基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述s2的局部二值特征信息算法具体包括：
3.根据权利要求1所述的基于点云数据处理和边缘提取的叉车驾驶员行为监控方法，其特征在于，所述s3中优化的softmax分类器的函数为：
4...
【专利技术属性】
技术研发人员：旷隆中，
申请(专利权)人：合肥协力仪表控制技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。