System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 驾驶视频生成、疲劳驾驶监测模型训练、监测方法技术_技高网

驾驶视频生成、疲劳驾驶监测模型训练、监测方法技术

技术编号:44161062 阅读:0 留言:0更新日期:2025-01-29 10:32
本申请公开了一种驾驶视频生成方法、疲劳驾驶监测模型训练方法、监测方法,其中,驾驶视频生成方法包括根据第一驾驶视频包括的多帧图像对应的驾驶员人体区域得到驾驶员神情状态变化信息,根据第一驾驶视频包括的多帧图像对应的驾驶员人体区域深度信息和驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息;根据第二驾驶视频包括的目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息生成多个目标驾驶视频。如此,基于第一驾驶视频和第二驾驶视频,可以自动生成多个目标驾驶视频,节省了驾驶员驾驶图像采集所需的人力,并且提升了图像采集效率。

【技术实现步骤摘要】

本申请涉及疲劳驾驶监测,特别涉及一种驾驶视频生成方法、疲劳驾驶监测模型训练方法、疲劳驾驶监测方法、车辆控制方法以及电子设备。


技术介绍

1、疲劳驾驶监测是汽车领域非常重要的涉及车辆驾驶安全的监测技术,通过对驾驶员进行疲劳驾驶监测,能够有效避免交通事故的发生。

2、现有技术中,通过获取驾驶员图像数据或者视频数据等驾驶员驾驶图像,将驾驶员驾驶图像输入至疲劳驾驶监测模型中,以使疲劳驾驶监测模型输出驾驶员是否存在疲劳驾驶的结果信息。为了确保疲劳驾驶监测模型的输出准确性,需要大量驾驶员驾驶图像样本来训练疲劳驾驶监测模型。当前,驾驶员驾驶图像样本都是通过人工采集,因此需要多人参与图像采集等样本构建工作,存在耗费人力、样本构建效率低等问题。


技术实现思路

1、本申请提供了一种驾驶视频生成方法、疲劳驾驶监测模型训练方法、疲劳驾驶监测方法、车辆控制方法以及电子设备,用于解决现有技术中存在的多人参与图像采集等样本构建工作,存在耗费人力、样本构建效率低等问题。

2、其中,根据第一驾驶视频的多帧图像对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息得到驾驶员神情状态变化信息和驾驶员人体区域位置变化信息,以根据第二驾驶视频的目标帧图像以及驾驶员神情状态变化信息和驾驶员人体区域位置变化信息生成多个目标驾驶视频,如此,可以根据采集的驾驶员驾驶视频的帧图像以及其他驾驶视频中驾驶员神情状态变化信息和驾驶员人体区域位置变化信息组合生成多个驾驶员驾驶视频,相比于现有技术中的对每个驾驶员驾驶视频均进行人工采集的方式,节省了大量人力,并且加快了驾驶员驾驶视频的生成效率。

3、为解决上述技术问题,第一方面,本申请的实现方式公开了一种驾驶视频生成方法,该方法包括:确定第一驾驶视频包括的多帧图像分别对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息;根据多帧图像对应的驾驶员人体区域得到驾驶员神情状态变化信息,根据多帧图像对应的驾驶员人体区域深度信息和驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息;确定第二驾驶视频包括的目标帧图像,根据目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息生成多个目标驾驶视频。

4、本申请实现方式提供的驾驶视频生成方法,通过确定第一驾驶视频中多帧图像对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息,根据各图像对应的驾驶员人体区域得到驾驶员神情状态变化信息,根据各图像对应的驾驶员人体区域深度信息和驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息;进而根据第二驾驶视频的目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息生成多个目标驾驶视频。如此,可以根据采集的驾驶视频的目标帧图像以及其他驾驶视频的多帧图像对应的驾驶员神情状态变化信息和驾驶员人体区域位置变化信息组合生成多个的驾驶视频,相比于现有技术中的对每个驾驶视频均进行人工采集的方式,节省了大量人力,并且加快了驾驶视频的生成效率。

5、根据本申请的另一具体实现方式,本申请的实现方式公开的驾驶视频生成方法,确定第一驾驶视频包括的多帧图像分别对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息,包括:基于人像分割模型对第一驾驶视频进行图像分割处理得到多帧图像,对各图像进行图像分割处理,得到各图像对应的驾驶员人体区域;以及确定各图像对应于图像采集摄像头的驾驶员人体区域深度信息,以及基于驾驶员头部姿态估计模型得到各图像对应的驾驶员头部姿态信息作为驾驶员人体区域角度信息。

6、采用上述技术方案,基于人像分割模型和驾驶员头部姿态估计模型得到各图像对应的驾驶员人体区域和驾驶员人体区域角度信息;并得到各图像对应的驾驶员人体区域深度信息。如此,基于驾驶员人体区域得到驾驶员神情状态变化信息,基于驾驶员人体区域深度信息和驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息,能够生成基于不同驾驶员神情状态变化信息和驾驶员人体区域位置变化信息的驾驶视频,无需进行多个驾驶视频的人工采集,使得驾驶员驾驶视频生成更为高效。

7、根据本申请的另一具体实现方式,本申请的实现方式公开的驾驶视频生成方法,根据多帧图像对应的驾驶员人体区域得到驾驶员神情状态变化信息,包括:基于编码器对各图像对应的驾驶员人体区域进行特征编码处理,得到驾驶员神情状态变化特征组;对驾驶员神情状态变化特征组按照时间序列进行排序处理,得到驾驶员神情状态变化信息。

8、采用上述技术方案,基于驾驶员人体区域进行编码,并按时序进行排序得到驾驶员神情状态变化信息,能够生成基于不同驾驶员神情状态变化信息的驾驶视频,无需进行多个驾驶视频的人工采集,使得驾驶员驾驶视频生成更为高效。

9、根据本申请的另一具体实现方式,本申请的实现方式公开的驾驶视频生成方法,根据多帧图像对应的驾驶员人体区域深度信息和驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息,包括:对各图像对应的驾驶员人体区域深度信息和驾驶员人体区域角度信息按照时间序列进行排序处理,得到驾驶员人体区域变化特征组,作为驾驶员对应的驾驶员人体区域位置变化信息;对驾驶员对应的驾驶员人体区域位置变化信息进行转换处理,得到图像采集摄像头对应的驾驶员人体区域位置变化信息。

10、采用上述技术方案,基于驾驶员人体区域深度信息和驾驶员人体区域角度信息进行时序排序,并进行转换处理,得到图像采集摄像头对应的驾驶员人体区域位置变化信息,能够生成基于不同驾驶员人体区域位置变化信息的驾驶视频,无需进行多个驾驶视频的人工采集,使得驾驶员驾驶视频生成更为高效。

11、根据本申请的另一具体实现方式,本申请的实现方式公开的驾驶视频生成方法,确定第二驾驶视频包括的目标帧图像,根据目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息生成多个目标驾驶视频,包括:确定第二驾驶视频的任意一帧对应的图像作为目标帧图像;将目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息输入至驾驶视频生成模型中,得到多个目标驾驶视频。

12、采用上述技术方案,基于驾驶视频生成模型根据第二驾驶视频的任意一帧目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息得到多个目标驾驶视频。使得生成的驾驶员驾驶图像更能符合驾驶员驾驶逻辑,更为真实、有效。

13、根据本申请的另一具体实现方式,本申请的实现方式公开的驾驶视频生成方法,驾驶视频生成模型包括编码器、图像标识提取器以及解码器,将目标帧图像、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息输入至驾驶视频生成模型中,得到多个目标驾驶视频,包括:确定目标帧图像对应的文本标识信息,将目标帧图像和文本标识信息输入至编码器进行编码处理,得到图像编码特征;将图像编码特征、驾驶员神情状态变化信息以及驾驶员人体区域位置变化信息输入至图像标识提取器进行特征融合处理,得到融合图像特征;将融合图像特征输入至解码器进行解码处理,得到多本文档来自技高网...

【技术保护点】

1.一种驾驶视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的驾驶视频生成方法,其特征在于,确定第一驾驶视频包括的多帧图像分别对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息,包括:

3.根据权利要求2所述的驾驶视频生成方法,其特征在于,根据所述多帧图像对应的所述驾驶员人体区域得到驾驶员神情状态变化信息,包括:

4.根据权利要求2或3所述的驾驶视频生成方法,其特征在于,根据所述多帧图像对应的所述驾驶员人体区域深度信息和所述驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息,包括:

5.根据权利要求1-4任意一项所述的驾驶视频生成方法,其特征在于,确定第二驾驶视频包括的目标帧图像,根据所述目标帧图像、所述驾驶员神情状态变化信息以及所述驾驶员人体区域位置变化信息生成多个目标驾驶视频,包括:

6.根据权利要求5所述的驾驶视频生成方法,其特征在于,所述驾驶视频生成模型包括编码器、图像标识提取器以及解码器,将所述目标帧图像、所述驾驶员神情状态变化信息以及所述驾驶员人体区域位置变化信息输入至驾驶视频生成模型中,得到多个所述目标驾驶视频,包括:

7.根据权利要求6所述的驾驶视频生成方法,其特征在于,所述驾驶视频生成模型为稳定扩散模型。

8.一种疲劳驾驶监测模型训练方法,其特征在于,所述方法包括:

9.一种疲劳驾驶监测方法,其特征在于,所述方法包括:

10.一种车辆控制方法,其特征在于,所述方法包括:

11.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种驾驶视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的驾驶视频生成方法,其特征在于,确定第一驾驶视频包括的多帧图像分别对应的驾驶员人体区域、驾驶员人体区域深度信息以及驾驶员人体区域角度信息,包括:

3.根据权利要求2所述的驾驶视频生成方法,其特征在于,根据所述多帧图像对应的所述驾驶员人体区域得到驾驶员神情状态变化信息,包括:

4.根据权利要求2或3所述的驾驶视频生成方法,其特征在于,根据所述多帧图像对应的所述驾驶员人体区域深度信息和所述驾驶员人体区域角度信息,得到驾驶员人体区域位置变化信息,包括:

5.根据权利要求1-4任意一项所述的驾驶视频生成方法,其特征在于,确定第二驾驶视频包括的目标帧图像,根据所述目标帧图像、所述驾驶...

【专利技术属性】
技术研发人员:蓝宏宇张宝
申请(专利权)人:零束科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1