图像处理方法及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种图像处理方法及装置，该方法包括：对初始RGB图像进行语义分割得到语义特征图；基于语义特征图中包括的前景概率及语义特征对与初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向量，深度特征向量用于确定局部置信图及局部深度图；将深度特征向量和初始RGB图像进行特征融合，获得融合置信图和融合深度图；基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。该方法通过提取初始RGB图像的语义信息，引导准确刻画图像局部深度信息，同时优化全局深度图信息，提高目标深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。计算机视觉任务的提供保障。计算机视觉任务的提供保障。

【技术实现步骤摘要】
图像处理方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及图像处理方法及装置。

技术介绍

[0002]场景建模技术因结合深度传感器采集的深度图和彩色相机采集的RGB图而得到蓬勃发展，并广泛用于自主驾驶、机器人识别、地图导航、运动规划和增强现实等计算机视觉领域。
[0003]然而，包括基于结构光的传感器和激光雷达在内的各种深度传感器由于设备自身的局限性，采集的深度图的可靠性受到影响，特别是在室内环境场景中经常存在连续、大量的部分深度信息缺失及深度数据有噪声等情况，进而在执行计算机视觉任务时产生不良影响。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种图像处理方法，对传感器采集的深度图进行补齐，提高深度图中深度信息的稠密度和准确性。
[0005]根据本专利技术第一方面实施例的图像处理方法，包括：
[0006]对初始RGB图像进行语义分割得到语义特征图；
[0007]基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向量，所述深度特征向量用于确定局部置信图及局部深度图；
[0008]将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合深度图；
[0009]基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图。
[0010]根据本专利技术实施例的图像处理方法，通过提取初始RGB图像的语义信息，引导对初始深度图像准确刻画图像局部深度信息，同时通过深度特征向量和初始RGB图像的融合，优化全局深度图信息，并通过引入局部深度图和融合深度图对应的置信图，保留可靠的深度预测区域，提高目标深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。
[0011]根据本专利技术的一个实施例，所述对初始RGB图像进行语义分割得到语义特征图，包括：
[0012]将所述初始RGB图像输入至深度补齐模型的局部指导模块进行语义分割，获得所述局部指导模块输出的所述语义特征图；
[0013]所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向量，包括：
[0014]将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进
行深度特征提取，得到所述深度特征向量；
[0015]所述将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合深度图，包括：
[0016]将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图；
[0017]所述基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图，包括：
[0018]将所述局部深度图、所述局部置信图、所述融合深度图和所述融合置信图输入至所述深度补齐模型的输出网络，获得所述输出网络输出的所述目标深度图；
[0019]其中，所述深度补齐模型为基于样本训练集训练得到。
[0020]根据本专利技术的一个实施例，所述将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：
[0021]将所述深度特征向量和所述初始RGB图像输入至所述对抗生成网络的生成器，由所述生成器基于所述深度特征向量重建所述初始RGB图像的深度信息，获得所述生成器输出的所述融合深度图和所述融合置信图；
[0022]所述生成器是基于样本RGB图像和样本密集深度图，联合所述对抗生成网络的判别器进行对抗训练得到。
[0023]根据本专利技术的一个实施例，所述将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深度特征提取，得到所述深度特征向量，包括：
[0024]将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采样处理，得到第一深度特征向量；
[0025]将所述第一深度特征向量输入至所述约束网络的解码器进行上采样处理，得到第二深度特征向量。
[0026]根据本专利技术的一个实施例，所述将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：
[0027]将所述初始RGB图像输入至所述对抗生成网络进行下采样处理，得到第一特征向量；
[0028]通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征向量进行特征融合，得到目标融合特征向量；
[0029]对所述目标融合特征向量进行上采样处理，得到第二特征向量；
[0030]通过所述实例归一化模块对所述第二特征向量和第二深度特征向量进行特征融合，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图。
[0031]根据本专利技术的一个实施例，所述局部深度图和所述局部置信图通过如下步骤确定：
[0032]通过跳转连接的方式将所述约束网络的编码器中的所述深度特征向量输入至所述约束网络的解码器中的对称位置，得到所述解码器输出的所述局部深度图和所述局部置信图。
[0033]根据本专利技术的一个实施例，所述基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图，包括：
[0034]基于所述局部深度图、所述局部置信图、所述融合深度图和所述融合置信图，获得局部注意力权重和融合注意力权重；
[0035]基于所述局部注意力权重和所述融合注意力权重对所述局部深度图和所述融合深度图进行加权处理，得到所述目标深度图。
[0036]根据本专利技术的一个实施例，所述样本训练集包括多个样本RGB图像及其对应的拟真深度图像；
[0037]所述拟真深度图像通过如下步骤确定：
[0038]基于所述样本RGB图像对应样本深度图像进行高光区域掩模，得到第一拟真深度图；
[0039]基于所述样本深度图像进行目标像素区域掩模，得到第二拟真深度图；
[0040]基于所述样本深度图像进行噪声点掩模，得到第三拟真深度图；
[0041]基于所述样本深度图像进行语义标签随机掩模，得到第四拟真深度图；
[0042]基于所述样本训练集中所有样本深度图像进行语义分割训练，确定掩模矩阵，得到第五拟真深度图；
[0043]基于所述样本深度图像和所述第一至第五拟真深度图中的至少一个的深度信息，确定所述拟真深度图像。
[0044]根据本专利技术的一个实施例，所述深度补齐模型训练的目标损失函数基于如下步骤确定：
[0045]获取所述对抗生成网络的生成器的第一损失函数以及判别器的第二损失函数；
[0046]基于所述局部深度图和所述目标深度图，得到第三损失函数和第四损失函数；...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法还包括：对初始RGB图像进行语义分割得到语义特征图；基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向量，所述深度特征向量用于确定局部置信图及局部深度图；将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合深度图；基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图。2.根据权利要求1所述的图像处理方法，其特征在于，所述对初始RGB图像进行语义分割得到语义特征图，包括：将所述初始RGB图像输入至深度补齐模型的局部指导模块进行语义分割，获得所述局部指导模块输出的所述语义特征图；所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向量，包括：将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深度特征提取，得到所述深度特征向量；所述将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合深度图，包括：将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图；所述基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图，包括：将所述局部深度图、所述局部置信图、所述融合深度图和所述融合置信图输入至所述深度补齐模型的输出网络，获得所述输出网络输出的所述目标深度图；其中，所述深度补齐模型为基于样本训练集训练得到。3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：将所述深度特征向量和所述初始RGB图像输入至所述对抗生成网络的生成器，由所述生成器基于所述深度特征向量重建所述初始RGB图像的深度信息，获得所述生成器输出的所述融合深度图和所述融合置信图；所述生成器是基于样本RGB图像和样本密集深度图，联合所述对抗生成网络的判别器进行对抗训练得到。4.根据权利要求2所述的图像处理方法，其特征在于，所述将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深度特征提取，得到所述深度特征向量，包括：将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采样处理，得到第一深度特征向量；
将所述第一深度特征向量输入至所述约束网络的解码器进行上采样处理，得到第二深度特征向量。5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：将所述初始RGB图像输入至所述对抗生成网络进行下采样处理，得到第一特征向量；通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征向量进行特征融合，得到目标融合特征向量；对所述目标融合特征向量进行上采样处理，得到第二特征向量；通过所述实例归一化模块对所述第二特征向量和第...

【专利技术属性】
技术研发人员：车正平，汪浩文，徐志远，奉飞飞，唐剑，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：