【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体是基于计算机视觉和手力矩的驾驶员脱手检测方法。
技术介绍
1、随着高级自动驾驶技术的迅速发展和广泛应用，汽车的自动驾驶功能变得越来越智能化。然而，尽管这些系统在许多情况下可以自主操作车辆，但驾驶员仍然需要保持对方向盘的控制，以便在紧急情况下随时接管车辆。长时间不握住方向盘可能会带来严重的安全风险。因此，智能驾驶系统必须能够准确检测驾驶员是否脱手，一旦检测到驾驶员脱手行为超过一定时间，系统应及时发出警告或暂停自动驾驶功能，以确保驾驶安全。因此，准确识别驾驶员的脱手行为成为智能驾驶系统中至关重要的功能需求之一。
2、目前，用于驾驶员脱手检测的常用方法有基于计算机视觉的脱手检测方法、基于手力矩的脱手检测方法。基于计算机视觉的检测方法容易受到环境因素的影响，如光线不足或视野遮挡等，计算机视觉系统可能无法准确识别驾驶员的手部位置和状态，导致检测准确度下降。基于手力矩的脱手检测方法主要是利用车辆电子助力转向系统中的手力矩进行检测，这种检测方式不易区分轻握方向盘和不握方向盘，并且随着车辆使用时间增加、车辆转向系统维修等，该检测方式的检测准确度会降低，另外这种检测方法易受到欺骗，驾驶员在方向盘上粘贴重物便可让检测系统误认为驾驶员未脱手。
3、因此，本专利技术提出基于计算机视觉和手力矩的驾驶员脱手检测方法，旨在解决上述问题，提高驾驶员脱手检测的准确度和鲁棒性。
技术实现思路
1、本专利技术的主要目的是提供一种基于计算机视觉和手力矩的驾驶员脱手检测方
2、为实现上述目的，本专利技术提供如下技术方案：
3、基于计算机视觉和手力矩的驾驶员脱手检测方法，所述方法包括第一阶段检测、第二阶段检测和结合手力矩得到最终结果三个步骤，
4、所述第一阶段检测步骤包括：
5、基于相机获取原始图像(获取的原始图像尺寸为1920*1080像素)，对所述原始图像进行裁剪和缩放预处理，所述相机为驾驶舱内dms驾驶员监测系统相机；将预处理后的原始图像输入到handdetectionmodel手部检测模型中，基于所述handdetectionmodel手部检测模型输出检测结果，所述检测结果包括检测到双手、检测到单手、检测到无手，检测到双手时对应两个手的边界框，检测到单手时对应一个边界框，检测到无手时没有手部边界框，检测到双手和检测到单手时均得到手部roi区域；
6、所述第二阶段检测步骤包括：
7、对手部roi区域进行裁剪缩放；将裁剪缩放后的手部roi区域输入到handstateclassifymodel手部状态分类模型中，基于所述handstateclassifymodel手部状态分类模型计算得到手部是否处于脱手状态，此是否脱手状态为计算机视觉检测结果，在第一阶段检测到双手后，此时对应是否处于脱手状态包括全部未脱手一只脱手、全部脱手；在第一阶段检测到单手后，此时对应是否处于脱手状态包括未脱手和脱手；在第一阶段检测到无手后，此时对应是否处于脱手状态包括无手，其中全部未脱手、一只脱手和未脱手均属于未脱手，全部脱手、脱手和无手均属于脱手；
8、所述结合手力矩得到最终结果步骤包括：结合电子助力转向系统手力矩信息、时序判断、得到最终检测结果三个部分：所述结合电子助力转向系统手力矩信息为在第一阶段检测结果的基础上加入手力矩信息，手力矩信息通过订阅电子助力转向系统中的手力矩信息获取；所述时序判断通过设定手力矩阈值t和时间阈值t来进行判断，如果手力矩超过手力矩阈值t并且持续时间超过时间阈值t则判定未脱手，否则脱手，此是否脱手状态为手力矩检测结果；所述得到最终检测结果是通过所述计算机视觉检测结果和手力矩检测结果计算最终得分来判断驾驶员是否脱手。
9、作为本专利技术进一步的技术方案，所述对所述原始图像进行裁剪和缩放预处理的步骤为：先将方向盘区域的原始图像裁剪出来，得到形状为1080*1080像素的正方形，随后缩放为640*640像素，以适应handdetectionmodel手部检测模型要求的输入形状。
10、作为本专利技术进一步的技术方案，所述handdetectionmodel手部检测模型采用yolov8模型架构，通过开源手部数据集、实车拍摄数据集标注手部位置进行模型训练，并通过验证集进行模型评估和模型调优，随后可将表现优异的模型作为handdetectionmodel手部检测模型。
11、作为本专利技术进一步的技术方案，所述对手部roi区域进行裁剪缩放的步骤包括：根据第一阶段检测结果进行图像裁剪，形状大小和位置为第一阶段检测中检测到的手部边界框及位置，由于该形状为不固定大小，需要填充黑边为正方向然后再缩放为64*64像素，以适应handstateclassifymodel手部状态分类模型要求的输入形状。
12、作为本专利技术进一步的技术方案，所述handstateclassifymodel手部状态分类模型采用mobilenetv3模型架构，通过实车拍摄数据集标注手部是否处于脱手状态，并通过验证集进行模型评估和模型调优，随后可将表现优异的模型部署至第二阶段检测步骤中。
13、作为本专利技术进一步的技术方案，所述得到最终检测结果是通过所述计算机视觉检测结果和手力矩检测结果计算最终得分来判断驾驶员是否脱手的步骤包括：
14、计算机视觉检测结果所占权重为visionweight＝0.6，判定未脱手得分visionscore＝100，判定脱手得分visionscore＝0；
15、手力矩检测结果所占权重为torqueweight＝0.4，判定未脱手得分torquescore＝100，判定脱手得分torquescore＝0；
16、最终得分为：visionweight*visionscore+torqueweight*torquescore；
17、若最终得分大于50则判定最终检测结果为未脱手，若最终得分小于50则判定最终检测结果为脱手。
18、与现有技术相比，本专利技术的有益效果是：本专利技术提供了基于计算机视觉和手力矩的驾驶员脱手检测方法，有效克服了计算机视觉系统受到光线不足和视野遮挡的影响时准确度降低、手力矩检测时存在的轻握识别不准确、长时间使用准确度降低、易被异物干扰等缺点，能够更准确地识别驾驶员是否处于脱手状态，提高驾驶员脱手检测的准确度和鲁棒性。
本文档来自技高网...【技术保护点】
1.基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述方法包括第一阶段检测、第二阶段检测和结合手力矩得到最终结果三个步骤，
2.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述对所述原始图像进行裁剪和缩放预处理的步骤为：先将方向盘区域的原始图像裁剪出来，得到形状为1080*1080像素的正方形，随后缩放为640*640像素，以适应HandDetectionModel手部检测模型要求的输入形状。
3.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述HandDetectionModel手部检测模型采用yolov8模型架构，通过开源手部数据集、实车拍摄数据集标注手部位置进行模型训练，并通过验证集进行模型评估和模型调优，随后可将表现优异的模型作为HandDetectionModel手部检测模型。
4.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述对手部ROI区域进行裁剪缩放的步骤包括：根据第一阶段检测结果进行图像裁剪，形状大小和位置为第一阶段检测
5.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述HandStateClassifyModel手部状态分类模型采用mobilenetv3模型架构，通过实车拍摄数据集标注手部是否处于脱手状态，并通过验证集进行模型评估和模型调优，随后可将表现优异的模型部署至第二阶段检测步骤中。
6.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述得到最终检测结果是通过所述计算机视觉检测结果和手力矩检测结果计算最终得分来判断驾驶员是否脱手的步骤包括：
...【技术特征摘要】
1.基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述方法包括第一阶段检测、第二阶段检测和结合手力矩得到最终结果三个步骤，
2.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述对所述原始图像进行裁剪和缩放预处理的步骤为：先将方向盘区域的原始图像裁剪出来，得到形状为1080*1080像素的正方形，随后缩放为640*640像素，以适应handdetectionmodel手部检测模型要求的输入形状。
3.根据权利要求1所述的基于计算机视觉和手力矩的驾驶员脱手检测方法，其特征在于，所述handdetectionmodel手部检测模型采用yolov8模型架构，通过开源手部数据集、实车拍摄数据集标注手部位置进行模型训练，并通过验证集进行模型评估和模型调优，随后可将表现优异的模型作为handdetectionmodel手部检测模型。
4.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：朱梦田，黄齐兴，赵进，李鑫武，
申请(专利权)人：上海寻序人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。