【技术实现步骤摘要】
本专利技术涉及计算机视觉和深度学习，特别是针对智能交通系统中的道路场景深度图像补全技术。更具体地说，本专利技术涉及一种基于语义信息和彩色图像引导的道路场景深度补全方法。
技术介绍
1、近年来，随着人工智能技术的迅速发展，深度信息已经广泛应用于诸多领域，如数字孪生、虚拟现实、数字基建、智慧交通等。如何获取密集的深度信息，已成为目前计算机视觉领域中的关键任务。然而，现有的深度传感器在获取深度图时存在着例如数据点过于稀疏、受外界干扰明显等问题，在现实任务中难以应用。为了解决这些问题，研究人员将目光从传感器硬件转向了算法的改进：只要通过激光雷达获取稀疏的深度图，再采用高性能的深度补全算法，就能获得令人满意的密集深度图。然而，获取高质量的密集深度补全结果，同时节约计算资源并且提高效率，仍然是深度补全领域所面临的重大挑战。近年来，深度学习技术，尤其是基于卷积神经网络的深度补全算法，为这一难题提供了新的解决方案。然而，这些算法在处理复杂光照条件、遮挡及传感器噪声等方面仍有不足，并且没有充分利用场景语义信息。
2、而目前的方法大多采用双分支网络架构进行特征融合，利用编码器-解码器结构在彩色图像和lidar稀疏深度图之间进行不同顺序的提取融合。如penet提出的现有技术(towards precise and efficient image guided depth completion[c]//2021ieeeinternational conference on robotics and automation(icra).2021
技术实现思路
1、本专利技术的一个目的是提供一种基于语义信息和彩色图像引导的道路场景深度补全方法，通过整合高精度的语义信息和rgb图像，对激光雷达(lidar)提供的稀疏深度图进行补充，进而提高数字孪生、虚拟现实、数字基建、智慧交通等应用中场景理解的准确性与实时性，解决了现有深度补全方法使用的rgb图像存在对比度和阴影等问题，导致无法充分利用图像的语义信息。
2、为了解决上述技术问题，本专利技术提供了一种基于语义信息和彩色图像引导的道路场景深度补全方法，包括通过设计一个由彩色图像引导分支和语义引导分支组成的双分支网络，并在网络中引入了语义信息，从而进行道路场景深度补全；具体包括如下步骤：
3、步骤s1：构建双分支网络的彩色图像引导分支，即cg分支，包括彩色图像引导分支骨干、彩色深度图预测层、语义分割层；
4、步骤s2：对双分支网络的彩色图像引导分支进行预训练；
5、步骤s3：固定预训练好的彩色图像引导分支骨干参数，训练步骤s1中的彩色深度图预测层；
6、步骤s4：构建语义引导分支，即sg分支，以步骤s1中的语义分割层生成的语义标签作为输入进入语义引导分支；
7、步骤s5：根据彩色图像引导分支和语义引导分支的深度连接，获得基于注意力的特征融合模块；
8、步骤s6：固定预训练好的整个彩色图像引导分支参数，训练整个语义引导分支；然后再解冻固定的彩色图像引导分支参数来同时训练彩色图像引导分支和语义引导分支；
9、步骤s7：将彩色图像引导分支和语义引导分支的特征输入基于注意力的特征融合模块，以输出精细的融合深度特征图，使cg分支解码器中颜色主导的特征融合到sg分支的对应编码器特征中；
10、步骤s8：应用cspn++改进由双分支网络生成的密集深度图。
11、优选的是，所述步骤s1中，彩色图像引导分支将彩色图像与稀疏深度图对齐连接作为输入，输出包括密集深度图和置信度图；
12、其中，彩色图像引导分支骨干中，定义为cb∈c和db∈d的拼接，其中，b为批量大小，c表示彩色图像，d表示深度图像；
13、cg分支将xcg作为输入，首先被编码为隐藏表示如下列式1，然后基于下列式2，被解码为彩色深度图和语义联合特征的隐藏表示φcg＝f(wcgxcg+bcg)#(1)；φcs＝g(vcgφcg+ccg)#(2)；
14、其中，wcg和vcg分别表示编码器、解码器的权重矩阵，变量bcg和ccg表示编码和解码偏置值，f(.)和g(.)表示激活函数；
15、在生成彩色图像引导的彩色深度图的过程中，φcs根据下列式3生成批量大小为b的置信图和彩色深度图
16、其中，wcd表示生成彩色深度图层的权重矩阵，变量ccd表示生成彩色深度图的偏置值，h(.)表示激活函数；
17、语义分割层中，设语义分割的类别数为nc，根据公式(4)生成语义分割标签图sb∈rb×nc×h×w，sb＝p(vslφcs+bsl)#(4)；
18、其中，vsl表示生成语义标签的权重矩阵，变量bsl为生成语义标签的偏置值，p(.)表示激活函数。
19、优选的是，所述步骤s2中，训练时，输入为彩色图像和稀疏深度图，输出为语义分割层的语义分割的结果，用交叉熵损失计算该预训练的误差。
20、优选的是，所述步骤s3中，使用损失来估计最终彩色深度图预测层的训练误差：
21、
22、其中，为彩色图像引导分支预测的深度图,dgt为真实深度图。
23、优选的是，所述步骤s4中，首先将cg分支输出的语义标签概率图sb作为输入，根据式8进行数据降维，从nc维降至3维，
24、其中，为降维后的语义标签概率图，b为批量大小，vdr表示降维权重矩阵，变量bdr为降维的偏置值，p(.)表示激活函数；
25、输出与cg分支的结构相同。
26、优选的是，所述步骤s5中，在语义分支xsg解码的过程中，每一层都与彩色图像引导分支的中间特征图有深度连接，设frgb∈rc×h×w，fsem∈rc×h×w为输入的彩色图像引导和语义分支的中间特征图，f＝[frgb；fsem]∈r2c×h×w表示它们的深度连接，根据公式11计算通道注意权重，
27、
28、其中，表示f的通本文档来自技高网...
【技术保护点】
1.基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，包括通过设计一个由彩色图像引导分支和语义引导分支组成的双分支网络，并在网络中引入了语义信息，从而进行道路场景深度补全；具体包括如下步骤：
2.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S1中，彩色图像引导分支将彩色图像与稀疏深度图对齐连接作为输入，输出包括密集深度图和置信度图；
3.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S2中，训练时，输入为彩色图像和稀疏深度图，输出为语义分割层的语义分割的结果，用交叉熵损失计算该预训练的误差。
4.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S3中，使用损失来估计最终彩色深度图预测层的训练误差：
5.如权利要求2所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S4中，首先将CG分支输出的语义标签概率图SB作为输入，根据式8进行数据降维，从nc维降至3维，
7.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S6中，使用损失来估计最终语义引导分支输出深度图的训练误差：其中，Dsg为SG分支预测的深度图,Dgt为真实深度图。
8.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S7中，融合后的深度图Df如下所示，
9.如权利要求8所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤S8中，给定融合的深度图将其嵌入隐藏表示应用Atrous卷积的CSPN++传播步骤如下式14所示，
10.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，在构建双分支网络时，还包括使用一个分支的骨干和语义分割层来预测语义信息，具体为根据稀疏深度图和RGB图生成语义分割标签图，根据现有的模型生成了语义分割伪地面实况，将KITTI深度补全数据集中RGB图像转换为语义标签图。
...【技术特征摘要】
1.基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，包括通过设计一个由彩色图像引导分支和语义引导分支组成的双分支网络，并在网络中引入了语义信息，从而进行道路场景深度补全；具体包括如下步骤：
2.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤s1中，彩色图像引导分支将彩色图像与稀疏深度图对齐连接作为输入，输出包括密集深度图和置信度图；
3.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤s2中，训练时，输入为彩色图像和稀疏深度图，输出为语义分割层的语义分割的结果，用交叉熵损失计算该预训练的误差。
4.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤s3中，使用损失来估计最终彩色深度图预测层的训练误差：
5.如权利要求2所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤s4中，首先将cg分支输出的语义标签概率图sb作为输入，根据式8进行数据降维，从nc维降至3维，
6.如权利要求1所述的基于语义信息和彩色图像引导的道路场景深度补全方法，其特征在于，所述步骤s5中，在语义分支xsg解码的过程中...
【专利技术属性】
技术研发人员：耿信财，施祥鹏，黄都，黄书发，钟文轩，范彦斌，吴远见，屈文杰，
申请(专利权)人：中铁七局集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。