【技术实现步骤摘要】
本申请涉及自动驾驶,尤其是涉及一种雨雪环境下多任务学习的图像恢复方法及装置。
技术介绍
1、自动驾驶是一项高度复杂且充满挑战的任务,要求系统能够对周围环境进行精确、全面且可靠的感知与理解。视觉相机作为自动驾驶汽车上的关键传感器,负责捕捉周围场景的信息,执行如行人和车辆的检测、交通标志的识别、以及对其他道路使用者的意图感知等关键功能。然而,在室外开放环境中,雨雪等恶劣天气条件时常出现,为自动驾驶汽车的性能构成了严峻的考验。当雨滴或雪花附着在相机镜头上时会遮挡部分视野,导致成像质量显著下降,直接影响到图像处理算法的准确性,降低了车辆对环境的感知能力,增加了行驶过程中的安全风险。
2、目前,对于如何有效地去除图像中的雨滴、雪花等干扰,提升自动驾驶汽车在恶劣雨雪天气中的成像质量,还未有解决方案。
技术实现思路
1、有鉴于此,本申请提供了一种雨雪环境下多任务学习的图像恢复方法及装置,以解决上述技术问题。
2、第一方面,本申请实施例提供一种雨雪环境下多任务学习的图像恢复方法,包括:
3、获取自车的红外相机采集的rgb图像;
4、利用分类网络对所述rgb图像进行分类检测,得到分类结果;根据分类结果确定自车处于雨天环境或者自车处于雪天环境;
5、对rgb图像进行二倍下采样,得到第一下采样图像;对rgb图像进行四倍下采样,得到第二下采样图像;
6、当所述自车处于雨天环境,利用预先训练完成的第一图像恢复主干网络对所述rgb图像、第
7、当所述自车处于雪天环境,利用预先训练完成的第二图像恢复主干网络对所述rgb图像、第一下采样图像和第二下采样图像进行处理,得到特征图,得到特征图;利用预先训练完成的第二回归层对特征图进行处理,得到恢复后的图像。
8、进一步的,利用预先训练完成的第一图像恢复主干网络对所述rgb图像、第一下采样图像和第二下采样图像进行处理,得到特征图,包括:
9、利用第一卷积层对rgb图像进行特征提取,得到128维度的第一特征图;利用第二卷积层对第一下采样图像进行特征提取,得到128维度的第二特征图;利用第三卷积层对第二下采样图像进行特征提取,得到128维度的第三特征图;
10、利用第四卷积层对第一特征图进行处理,得到第四特征图;利用一个步长为2的第五卷积层对第四特征图进行处理,得到第五特征图;将第五特征图和第二特征图在通道维度上进行拼接,得到维度为256的第六特征图;
11、利用第六卷积层对第六特征图进行降低维度的处理,得到维度为128的第七特征图;
12、利用一个步长为2的第七卷积层对第七特征图进行处理,得到第八特征图,将第八特征图和第三特征图在通道维度上进行拼接,得到第九特征图;
13、利用第八卷积层对第九特征图进行降低维度的处理,得到维度为128的第十特征图;
14、利用一个步长为2的第一反卷积层对第十特征图进行处理,得到第十一特征图,将第十一特征图和第三特征图在通道维度上进行拼接,得到第十二特征图;
15、利用第九卷积层对第十二特征图进行降低维度的处理,得到第十三特征图;
16、利用一个步长为2的第二反卷积层对第十三特征图进行提升分辨率的处理,得到第十四特征图;将第十四特征图和第四特征图在通道维度进行拼接,得到第十五特征图;
17、利用第十卷积层对第十五特征图进行降低维度的处理,得到维度为128的特征图。
18、进一步的,利用预先训练完成的第二图像恢复主干网络对所述rgb图像、第一下采样图像和第二下采样图像进行处理,得到特征图,得到特征图,包括:
19、利用第十一卷积层对rgb图像进行特征提取,得到128维度的第十六特征图;利用第十二卷积层对第一下采样图像进行特征提取,得到128维度的第十七特征图;利用第十三卷积层对第二下采样图像进行特征提取,得到128维度第十八特征图;
20、利用第十四卷积层对第十六特征图进行处理,得到第十九特征图;利用一个步长为2的第十五卷积层对第十九特征图进行处理,得到第二十特征图;将第二十特征图和第十七特征图在通道维度上进行拼接,得到维度为256的第二十一特征图;
21、利用第十六卷积层对第二十一特征图进行降低维度的处理,得到维度为128的第二十二特征图;
22、利用一个步长为2的第十七卷积层对第二十二特征图进行处理,得到第二十三特征图,将第二十三特征图和第十八特征图在通道维度上进行拼接,得到第二十四特征图;
23、利用第十八卷积层对第二十四特征图进行降低维度的处理,得到维度为128的第二十五特征图;
24、利用一个步长为2的第三反卷积层对第二十五特征图进行处理,得到第二十六特征图,将第二十六特征图和第十八特征图在通道维度上进行拼接,得到第二十七特征图;
25、利用第十九卷积层对第二十七特征图进行降低维度的处理,得到第二十八特征图;
26、利用一个步长为2的第四反卷积层对第二十八特征图进行提升分辨率的处理,得到第二十九特征图;将第二十九特征图和第十九特征图在通道维度进行拼接,得到第三十特征图;
27、利用第二十卷积层对第三十特征图进行降低维度的处理,得到维度为128的特征图。
28、进一步的,所述第一回归层包括两个连接的第二十一卷积层和第二十二卷积层;
29、利用预先训练完成的第一回归层对特征图进行处理,得到恢复后的图像,包括:
30、利用第二十一卷积层对特征图进行降低维度的处理,得到维度为64的中间特征图;
31、利用第二十二卷积层对维度为64的中间特征图进行降低维度的处理,得到恢复后的图像。
32、进一步的,所述第二回归层包括两个连接的第二十三卷积层和第二十四卷积层;
33、利用预先训练完成的第二回归层对特征图进行处理,得到恢复后的图像,包括:
34、利用第二十三卷积层对特征图进行降低维度的处理,得到维度为64的中间特征图;
35、利用第二十四卷积层对维度为64的中间特征图进行降低维度的处理,得到恢复后的图像。
36、进一步的,所述方法还包括:对第一图像恢复主干网络、第一回归层、第二图像恢复主干网络和第二回归层进行联合训练的步骤,具体包括:
37、构建训练网络,包括并行的第一分支和第二分支,所述第一分支包括第一图像恢复主干网络和第一回归层,所述第二分支包括第二图像恢复主干网络和第二回归层;
38、建立雨天数据集和雪天数据集;所述雨天数据集包括n张雨天采集的第一rgb图像样本;所述雪天数据集包括n张雪天采集的第二rgb图像样本;
39、对第一rgb图像样本进行二倍下采样,得到第一下采样图像样本;对第一rg本文档来自技高网...
【技术保护点】
1.一种雨雪环境下多任务学习的图像恢复方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,利用预先训练完成的第一图像恢复主干网络对所述RGB图像、第一下采样图像和第二下采样图像进行处理,得到特征图,包括:
3.根据权利要求2所述的方法,其特征在于,利用预先训练完成的第二图像恢复主干网络对所述RGB图像、第一下采样图像和第二下采样图像进行处理,得到特征图,得到特征图,包括:
4.根据权利要求3所述的方法,其特征在于,所述第一回归层包括两个连接的第二十一卷积层和第二十二卷积层;
5.根据权利要求4所述的方法,其特征在于,所述第二回归层包括两个连接的第二十三卷积层和第二十四卷积层;
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:对第一图像恢复主干网络、第一回归层、第二图像恢复主干网络和第二回归层进行联合训练的步骤,具体包括:
7.根据权利要求6所述的方法,其特征在于,利用第一损失值和第二损失值,采用跨任务细粒度参数自适应共享策略更新第一图像恢复主干网络和第二图像恢复主干网络的权重参数,同
8.根据权利要求7所述的方法,其特征在于,根据第一图像恢复主干网络中各卷积层的共享参数和特定参数以及各反卷积层的共享参数和特定参数,分别确定各卷积层的权重参数以及各反卷积层的权重参数;包括:
9.一种雨雪环境下多任务学习的图像恢复装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种雨雪环境下多任务学习的图像恢复方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,利用预先训练完成的第一图像恢复主干网络对所述rgb图像、第一下采样图像和第二下采样图像进行处理,得到特征图,包括:
3.根据权利要求2所述的方法,其特征在于,利用预先训练完成的第二图像恢复主干网络对所述rgb图像、第一下采样图像和第二下采样图像进行处理,得到特征图,得到特征图,包括:
4.根据权利要求3所述的方法,其特征在于,所述第一回归层包括两个连接的第二十一卷积层和第二十二卷积层;
5.根据权利要求4所述的方法,其特征在于,所述第二回归层包括两个连接的第二十三卷积层和第二十四卷积层;
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:对第一图像恢复主干网络、第一回归层、第...
【专利技术属性】
技术研发人员:王力,徐彬,戴崑,杨路,徐涛,李颖,
申请(专利权)人:北京理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。