一种基于差分对比学习的深度图合成方法技术

本发明专利技术提供了一种基于差分对比学习的深度图合成方法，该方法采取了一种基于差分对比学习的策略，可以有效地限制深度卷积神经网络生成深度图过程中造成的几何形变，从而可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。在利用渲染数据集进行真实扫描数据集上的深度图增强，语义分割和法向贴图估计的任务中，本发明专利技术方法得到的合成深度图均取得了最好的结果。明方法得到的合成深度图均取得了最好的结果。明方法得到的合成深度图均取得了最好的结果。

【技术实现步骤摘要】
一种基于差分对比学习的深度图合成方法


[0001]本专利技术属于计算机视觉和计算机图形学领域，尤其涉及一种基于差分对比学习的真实深度图像合成方法。

技术介绍

[0002]随着图形学技术的发展和市场需求，已经有大量的开源三维模型数据集，其中就包括室外大场景的和室内场景的。利用三维模型数据集，人们可以通过渲染等方式，轻松得到一些可以应用于视觉任务的数据集，比如利用三维模型自带的类别标签，生成用于语义分割的数据集。而对于真实扫描的三维数据，首先需要通过算法重建出三维场景，这个过程往往会不够鲁棒；其次，对于物品类别这样的标签，则需要人为进行标记。在这样的背景下，很多方法开始探索如何将三维模型数据集有效应用到视觉任务上；但是由于渲染数据集与真实数据集之间存在着不可以避免的差别，在渲染数据集上表现好的方法无法直接应用到真实数据集上。因此，人们需要探索渲染数据集和真实数据集之间域的转换。
[0003]利用不配对数据集进行彩色图像域转换的各项工作已经在数字艺术领域取得了广泛的应用，然而对深度图像的转换目前还没有很有效的方法。在彩色图像上取得成功的方法，因为没有考虑到深度图像的几何结构，直接应用在深度图像上就会造成严重的几何形变。
[0004]对比学习的概念已经在自监督的表达学习各类方法中展现了它的能力，由于渲染数据集和真实数据集不存在匹配的数据，对比学习的方法在此情况下可以发挥优势。

技术实现思路

[0005]本专利技术提供了一种具有高几何保持度的深度图合成方法，该方法可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。同时在利用渲染数据集进行真实扫描数据集上的深度图增强，语义分割和法向贴图估计的任务中，本专利技术得到的合成深度图均取得了最好的结果。
[0006]本专利技术是通过以下技术方案来实现的：
[0007]一种基于差分对比学习的真实深度图合成方法，通过一深度卷积神经网络G作为数据集映射的载体，将渲染合成的深度图和其对应的彩色图，映射合成为具有真实扫描深度图特征的合成深度图；其中，所述训练好的深度卷积神经网络G通过如下步骤训练获得：
[0008]步骤一：选取渲染得到的合成数据集D
s
＝{(d
s
,I
s
)}和一个真实扫描的数据集D
r
＝{(d
r
,I
r
)}，其中，d和I分别表示为配对的深度图和彩色图。
[0009]步骤二：将步骤一获取的两个数据集输入至深度卷积神经网络G，并构建一判别器对深度卷积神经网络G进行训练，训练包括：
[0010]利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，采用生成式对抗神经网络的方法以减小两个数据分布间的差异为目标进行训练；
[0011]利用深度卷积神经网络G中的编码器部分分别提取合成数据集的深度图d
s
和其对应的合成深度图的特征，并分别按位置两两相减计算差分，采用对比学习以减小合成数据集的深度图d
s
与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练。
[0012]以减小深度卷积神经网络G对真实扫描的数据集中的深度图d
r
产生的无效映射为目标进行训练。
[0013]其中，渲染得到的合成数据集为通过渲染开源三维模型数据集获得，真实扫描的数据集为通过扫描仪等设备采集获得。
[0014]本专利技术利用训练好的深度卷积神经网络G，就可以将渲染的深度图像转化为具有真实扫描特征的深度图像，从而可以替代真实扫描深度图应用于深度图增强，语义分割和法相贴图等预测任务中。
[0015]进一步地，所述深度卷积神经网络G的网络结构采用ResNet，UNet等。
[0016]进一步地，利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，以减小两个数据分布间的差异为目标进行训练，采用的目标函数具体为：
[0017][0018]其中，表示判别器的输出；
[0019]进一步地，利用深度卷积神经网络G中的编码器部分分别提取合成数据集的深度图d
s
和其对应的合成深度图的特征，并分别按位置两两相减计算差分，以减小合成数据集的深度图d
s
与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练，具体为：
[0020](a)利用深度卷积神经网络G编码器部分分别对合成数据集的深度图d
s
和其对应的合成深度图进行特征提取，并分别均匀抽取其中的N层的特征图。
[0021](b)对抽取出的每层特征图随机抽取区域块并两两相减计算差分，得到合成数据集的深度图d
s
和合成深度图对应的两个差分集合。
[0022](c)从步骤(b)中得到的两个差分集合中选择正组合对和负组合对，以最大化正组合对和负组合对之间的差异为目标进行训练。
[0023]进一步地，所述步骤(c)中，正组合对和负组合对具体为：
[0024]正组合对：
[0025]负组合对：
[0026]j≠k
[0027]其中，表示从合成深度图中提取的第l层特征图的区域块，表示从合成数据集的深度图d
s
中提取的第l层特征图的区域块，i,j,k表示特征图的不同空间位置。
[0028]以最大化正组合对和负组合对之间的差异为目标进行训练，采用的目标函数具体为：
[0029][0030]其中，τ表示权重，E为能量函数。
[0031]进一步地，以减小深度卷积神经网络G对真实扫描的数据集中的深度图d
r
产生的无效映射为目标进行训练，采用的目标函数具体为：
[0032][0033]其中，φ()表示深度卷积神经网络G编码器部分的输出，ψ()表示深度卷积神经网络G解码器部分的输出，||||1表示正则化函数。
[0034]本专利技术的突出贡献是：
[0035]本专利技术提供了一种具有高几何保持度的深度图合成方法；与先前运用在深度图合成上会造成几何形变的彩色图像合成方法不同，本专利技术可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。本专利技术在神经网络的训练过程中是端到端的，无须分步骤进行。同时，本专利技术方法可以利用各种设备的采集数据作为训练数据，合成符合不同需求的深度图，训练无需做任何改动。在合成出具有真实扫描结果特征的深度图之后，本专利技术可以将该数据应用到真实扫描深度图增强，语义分割和法相贴图的预测任务中；且均取得了目前最好的效果。
附图说明
[0036]图1是本专利技术提出的差分对比学习的示意图。
[0037]图2是本专利技术合成深度图的效果图。
具体实施方式
[0038]下面结合具体实施例和附图对本专利技术作进一步说明。
[0039]获取真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于差分对比学习的深度图合成方法，其特征在于，通过一深度卷积神经网络G作为数据集映射的载体，将渲染合成的深度图和其对应的彩色图，映射合成为具有真实扫描深度图特征的合成深度图；其中，所述训练好的深度卷积神经网络G通过如下步骤训练获得：步骤一：选取渲染得到的合成数据集D
s
＝{(d
s
，I
s
)}和一个真实扫描的数据集D
r
＝{(d
r
，I
r
)}，其中，d和I分别表示为配对的深度图和彩色图。步骤二：将步骤一获取的两个数据集输入至深度卷积神经网络G，并构建一判别器对深度卷积神经网络G进行训练，训练包括：利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，采用生成式对抗神经网络的方法以减小两个数据分布间的差异为目标进行训练；利用深度卷积神经网络G中的编码器部分分别提取合成数据集的深度图d
s
和其对应的合成深度图的特征，并分别按位置两两相减计算差分，采用对比学习以减小合成数据集的深度图d
s
与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练。以减小深度卷积神经网络G对真实扫描的数据集中的深度图d
r
产生的无效映射为目标进行训练。2.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，所述深度卷积神经网络G的网络结构采用ResNet，UNet等。3.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，以减小两个数据分布间的差异为目标进行训练，采用的目标函数具...

【专利技术属性】
技术研发人员：沈越凡，郑友怡，
申请(专利权)人：浙江大学，
类型：发明
国别省市：