System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法技术_技高网

基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法技术

技术编号:44507719 阅读:1 留言:0更新日期:2025-03-07 13:05
本发明专利技术公开了一种基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,模型中的特征重组上采样模块引入双层路由注意力机制和轻量级上采样算子,双层路由注意力机制对特征图的粗区域过滤掉不相关键值对,提高对特征图中小目标特征提取的能力;轻量级上采样算子对输入特征图进行分块处理,并利用卷积操作对每个分块进行特征重组,增强感知范围使得上采样后的特征图能够融合更多的上下文信息。对改进YOLOv8模型进行测试和训练,可以提高检测结果的平均准确率。采用视频集标准的方法替代人工方法,并且采用光电结合视频的方法判断响应时间,提高警情发生时的响应速度,减少交通安全事故的发生。

【技术实现步骤摘要】

本专利技术涉及车辆应用,尤其涉及一种基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法。


技术介绍

1、工程车辆的驾驶室高、车辆结构特殊、内外轮差,驾驶员在驾驶中对行人观察存在盲区,同时因为工程车辆载重大、转弯半径大、运输时间长、夜间工作时间段多等特点在行驶时稍有不慎,很容易造成行人、电动车等车毁人亡的事故。据交管部门统计,工程车辆事故70%以上是行人盲区导致的。因此,全国各地的企业研制了盲区行人识别系统,系统本质为通过摄像头采集工程车右侧盲区监控画面,通过图像识别技术判断行人动向,进而判断是否存在可能的危险,若存在则系统立即发出警报,提醒司机采取相应的措施,减少伤亡。可见,如何进行行人动向判断是系统的重中之重。现有的国家标准gb/t 19056-2021、jt/t794-2019、jt/t 1076-2016、jt/t 808-2019、jt/t 1078-2016中未见详尽有效的测试方法。由于目前测试手段受限,不能为测试厂家提供统一的时间、统一的场景,统一的路线,统一的警情,检测方案尚停留在人工检测方式,该方式测试人员个人主观性较强、效率较低、一致性不佳。以同型号产品为例,人工测试对比数据如表1所示。

2、表1 人工检测对比数据

3、

4、本方案目的在于提供一套规范的警情视频集标准,将该标准提供给厂房,为他们搭建统一的测试平台,根据参测厂家给出的识别结果可以快速判定警情并提高警情识别准确率、警情识别误报率和警情识别漏报率。由于警情受到行人的服饰、身高胖矮、是否打伞、是否骑车、是否戴头盔、是否骑车带人,行人所处场景的明暗、光影,天气因素雨雪雾等多种因素的影响,使得警情场景变的异常复杂。若要制作一个完备的视频集标准,可能需要长时间且持续性的采集各种警情场景,这在实际工作中是不现实的。根据交管部门的统计,工程车在刚刚起步转弯的情况下发生严重伤亡事故的比例最高,约占80%,因此本方案考虑首先录制车辆静态情况下的行人警情视频集标准,在此基础上根据实践经验补充完善动态行人警情视频集标准。通过yolov8模型对视频集标准进行检测,其中transformer凭借自注意力机制(self-attention)的优势,能够捕捉图像上下文特征信息,被广泛应用在目标检测模型中,用来解决小目标特征信息少而未被检测出来的问题。但是常规的 transformer模型其参数量大,如直接将该模型用于 对特征图全局范围内操作的话,会增加计算量,大大占用内存,从而影响检测推理速度,并且还会浪费大量的时间花在处理图像中非目标区域。并且,yolov8模型中的上采样多数采用最近邻线性插值法,该方法会使得图像中的纹理细节丢失,无法准确还原原始数据的细节。


技术实现思路

1、本专利技术提供了一种基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,用以解决
技术介绍
中提出的技术问题。

2、本专利技术解决上述技术问题采用的技术方案为:

3、一种基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,包括如下步骤:

4、s1、数据预处理:

5、s11、收集关于行人警情的图像作为数据集;行人警情包括日间正向行人警情、日间反向行人警情、夜间正向行人警情和夜间反向行人警情,各类警情收集n张图片,n≥1600;

6、s12、对图像进行标准化处理和数据增强;

7、s13、标注图像的目标区域以获取标注数据,并划分训练集和测试集;所述训练集和测试集的比例为4:1;

8、s2、模型训练和应用:

9、s21、使用测试集对改进yolov8模型进行测试,并保存识别平均准确率最高时的模型参数,即最优模型参数;

10、改进yolov8模型包括:骨干网络模块、特征重组上采样模块和颈部网络模块;

11、其中,特征重组上采样模块引入双层路由注意力机制和轻量级上采样算子,通过yolov8模型的sppf模块对图像进行采样操作获得特征图,bra双层路由注意力机制对特征图粗区域的不相关键值对进行过滤,再通过轻量级上采样算子进行分块处理,利用卷积操作对每个分块进行特征重组;

12、s22、加载最优模型参数至改进yolov8模型中,使用标注数据对模型进行训练;

13、s23、将训练好的模型应用到实际的图像中进行检测,并记录响应时间和检测结果。

14、作为本专利技术的进一步优选,步骤s11中,四类警情均包含静态独立行人场景、打雨伞行人场景、自行车行人场景、穿雨披自行车行人场景、穿雨披电动车行人场景和载货电动车行人场景,各类场景中的人员、服饰、场地、光照强度等完全统一。

15、作为本专利技术的进一步优选,步骤s12中,对图像进行缩放、剪裁,以适应改进yolov8模型的输入要求,再利用随机旋转、翻转、亮度调整的方法,增加图像数据的多样性和增强模型的鲁棒性。

16、作为本专利技术的进一步优选,步骤s21的具体步骤为:

17、使用测试集对改进yolov8模型进行测试,计算精确率、召回率和平均准确度;其中,精确率指预测为正例的样本占所有正例样本的百分比,召回率指预测为正例的样本占所有预测样本的百分比;精确率和召回率的计算公式如下:

18、,

19、其中,tp指模型正确预测为正类别的样本数量,fp指模型错误预测为正类别的样本数量,tn指模型正确预测为负类别的样本数量,fn指模型错误预测为负类别的样本数量;

20、以召回率为横坐标,精确率为纵坐标,随着阈值的改变形成p-r曲线,p-r曲线与横纵坐标围成的面积即为平均准确率,公式如下:

21、 ,

22、对应的检测指标平均准确度通过对多个类别求平均值获得,公式如下:

23、 。

24、作为本专利技术的进一步优选,步骤s21中,骨干网络模块采用yolov5模型的骨干网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,上下文特征融合模块的设计参考了跨阶段部分连接模块以及yolov7中的高效层聚合网络的思想,使得在保证轻量化的同时,获得更加丰富的梯度流信息;颈部网络模块采用yolov5模型的的颈部网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,并且把路径聚合-特征金字塔网络模块中执行上采样操作前的卷积模块删除,将骨干网络模块在不同阶段的特征图直接输入至上采样。

25、作为本专利技术的进一步优选,v5 损失函数是由分类损失(cls_loss)、回归损失(box_loss)和置信度损失(obj_loss)三部分损失函数组成;而改进yolov8模型只使用varifocal loss分类损失函数,其主要改进点为提出了非对称的加权操作,用于解决正负样本不平衡的问题,计算公示如下:

26、,

27、其中,p指预测iou-aware分类评分,即目标在置信度和定位精度的联合表示;q指目标得分,对于正样本而言,q为边界框与实际真实框之间的本文档来自技高网...

【技术保护点】

1.基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S11中,四类警情均包含静态独立行人场景、打雨伞行人场景、自行车行人场景、穿雨披自行车行人场景、穿雨披电动车行人场景和载货电动车行人场景。

3.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S12中,对图像进行缩放、剪裁,以适应改进YOLOv8模型的输入要求,再利用随机旋转、翻转、亮度调整的方法,增加图像数据的多样性和增强模型的鲁棒性。

4.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S21的具体步骤为:

5.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S21中,骨干网络模块采用YOLOv5模型的骨干网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,上下文特征融合模块的设计采用跨阶段部分连接模块并结合YOLOv7中的高效层聚合网络的思想;颈部网络模块采用YOLOv5模型的颈部网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,并且把路径聚合-特征金字塔网络模块中执行上采样操作前的卷积模块删除,将骨干网络模块在不同阶段的特征图直接输入至上采样。

6.根据权利要求4所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S21中,改进YOLOv8模型使用的损失函数替换为Varifocal Loss分类损失函数,通过非对称的加权操作,解决正负样本不平衡的问题,计算公示如下:

7.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S21中,双层路由注意力机制对特征图粗区域的不相关键值对进行过滤,即通过构建和修剪区域级有向图,再通过区域的联合中应用细粒度的 token-to-token注意力实现过滤操作。

8.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S22通过加载预训练权重yolov8s.pt,使用收集的标注数据对模型进行训练;训练过程中学习率设为0.01,批大小为16,迭代次数为100。

9.根据权利要求1所述的基于改进YOLOv8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤S23中,将训练好的模型应用到实际的图像或视频流中进行检测,采用视频信号+光电信号综合研判的方法,检测结果result的计算方法如下:

...

【技术特征摘要】

1.基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤s11中,四类警情均包含静态独立行人场景、打雨伞行人场景、自行车行人场景、穿雨披自行车行人场景、穿雨披电动车行人场景和载货电动车行人场景。

3.根据权利要求1所述的基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤s12中,对图像进行缩放、剪裁,以适应改进yolov8模型的输入要求,再利用随机旋转、翻转、亮度调整的方法,增加图像数据的多样性和增强模型的鲁棒性。

4.根据权利要求1所述的基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤s21的具体步骤为:

5.根据权利要求1所述的基于改进yolov8模型的大型车辆右侧盲区行人防碰撞检测方法,其特征在于,步骤s21中,骨干网络模块采用yolov5模型的骨干网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,上下文特征融合模块的设计采用跨阶段部分连接模块并结合yolov7中的高效层聚合网络的思想;颈部网络模块采用yolov5模型的颈部网络结构,将原有的跨阶段部分连接模块替换成上下文特征融合模块,并且把路径聚合...

【专利技术属性】
技术研发人员:黄松涛彭霄汪东华赵伟赵锦春唐颖
申请(专利权)人:江苏省计量科学研究院江苏省能源计量数据中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1