一种iToF深度数据到原始raw数据的反向生成方法技术

本发明专利技术公开了一种iToF深度数据到原始raw数据的反向生成方法，方法中，采集郎伯平面、朗伯平面和标定板平面组和无限远距离三种场景下iToF摄像头拍摄的原始raw数据；构建iToF深度数据到原始raw数据的反向生成模型；基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值；所述参数值代入反向生成模型，将合成场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。集。集。

【技术实现步骤摘要】
一种iToF深度数据到原始raw数据的反向生成方法


[0001]本专利技术属于计算机视觉领域，特别是一种iToF深度数据到原始raw数据的反向生成方法。

技术介绍

[0002]随着成像技术和摄像头技术的发展，为了获取深度信息，深度摄像头孕育而生。而其中iToF(Indirect Timeof Flight，间接ToF)深度摄像头广泛活跃于深度信息获取领域中，iToF深度摄像头通过相移法间接测量得到深度，比如通过调制后的多帧相移图计算得到相位，再通过深度计算公式得到距离值。iToF虽然凭借着体积小的优势而备受青睐，但其自身也存在着一些不可避免的问题，比如MPI(Multipath Interference多径干涉)问题。在理想的iToF成像原理中，假设投射信号在场景中只是经过一次反射后就被接收Sensor接收。而在实际的3D成像过程中，光线会在场景中发生多次反射接收现象。因此，在同一像素中接收的信号往往是多个信号的叠加，从而影响iToF的深度测量精度。
[0003]目前，一种解决MPI问题的方法是通过神经网络学习的方法解决多径干涉问题。然而在现实中，iToF深度摄像头很难获取到大量只经过一次反射就被深度摄像头接收的真实数据。而对神经网络学习方法来说大量标签数据常常是训练所需。为解决iToF的MPI问题，需要率先解决网络训练所需的数据集缺乏问题。
[0004]在
技术介绍
部分中公开的上述信息仅仅用于增强对本专利技术背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
专利技术内容
[0005]针对现有技术中的问题，本专利技术提出一种iToF深度数据到原始raw数据的反向生成方法。通过对已有场景的深度数据，反向生成大批量原始的raw数据，解决神经网络训练的数据集缺乏问题。
[0006]本专利技术的目的是通过以下技术方案予以实现，一种iToF深度数据到原始raw数据的反向生成方法包括以下步骤：
[0007]第一步骤，采集郎伯平面、郎伯平面和标定板平面组、无限远距离三种场景下iToF摄像头拍摄的原始raw数据；
[0008]第二步骤，构建iToF深度数据到原始raw数据的反向生成模型；
[0009]第三步骤，基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值；
[0010]第四步骤，所述参数值代入反向生成模型，将三维建模合成的虚拟场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。
[0011]所述的方法中，第一步骤中，郎伯平面为漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数，对郎伯平面进行拍摄时，拍摄过程中相机和郎伯平面平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，设置多个等距拍摄间隔
并要求对同一位置拍摄多张求得原始raw数据平均值。
[0012]所述的方法中，第一步骤中，以郎伯平面和标定板为一组进行拍摄，拍摄同一组平面和标定板的过程中摄像头保持不动，并针对每组的平面和标定板拍摄多组求平均值，其中，iToF摄像头对不同位置的标定板拍摄多组作为标定基，然后固定摄像头并保持与郎伯平面平行，将标定板放置于郎伯平面上进行拍摄多张并求均值，摘除标定板后对郎伯平面继续拍摄多张并求均值，这两组认定为一个对应组，然后移动摄像头以相同的方式拍摄多组。
[0013]所述的方法中，第一步骤中，无限远距离场景下的拍摄中，将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张，并求其原始raw数据的平均值。
[0014]所述的方法中，iToF摄像头包括单频摄像头或多频摄像头。
[0015]所述的方法中，第二步骤中，iToF摄像头的反向生成模型为：其中，i代表iToF摄像头不同的调制频率，j代表iToF摄像头不同的调制相位，k代表图像的像素位置，r
i，k
为光强系数，T
i
为频率周期，为相位，B
i，j，k
为偏移量，d
real，k
为真实深度，d
test，k
为iToF摄像头的测量深度，d
real，k
＝a
k
d
test，k
+b
k
，其中k代表图像的像素位置，a
k
为一次项，b
k
为截距。
[0016]所述的方法中，第二步骤中，对于部分相机，其还存在如下关系：Raw
i，j，k
＝maX(min(Raw
i，j，k
，C
i
)，
‑
C
i
)，其中C
i
为最大阈值。所述的方法中，采集的空旷区或者关闭或遮挡iToF摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数B
i，j，k
，将所有的采集到的原始rsw数据减去所述参数B
i，j，k
；
[0017]通过采集的郎伯平面和标定板平面为一组的数据，通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图，置信度图通过标定的方法得到所有的标定板的真实深度d
real，k
，通过每个标定板对应的郎伯平面得到原始的raw数据，并计算出每个对应的d
test，k
，通过最小二乘法对每个像素进行拟合得到不同像素对应的a
k
和b
k
；
[0018]通过采集的不同距离的郎伯平面得到所有对应的测量深度值d
test，k
，然后计算出所有对应的d
real，k
，将所有的raw数据乘以对应的d
2real，k
，得到其中，以深度值d
test，k
为自变量，以深度值d
test，k
所对应的Raw
*i，j，k
为因变量，将每个像素进行最小二乘拟合得到所对应的参数r
i，k
，T
i
和
[0019]所述的方法中，当存在过度曝光情况时，基于Raw
i，j，k
＝max(min(Raw
i，j，k
，C
i
)，
‑
C
i
)，标定出最大曝光值C
i
。
[0020]所述的方法中，第四步骤中，瞬态渲染以飞秒为单位分析光线的传播过程，场景中的光源经过不同次数的反射后，每个像素接收到光源的时间t
k，m
，通过d
real，k.m
＝ct
k，m
得到对
应的d
real，k，m
其中m是光反射的次数，c为光速，基于d
real，k，m
得到对应的d
test，k，m
以得到每个场景对应的原始raw数据Raw
i，j，k，m
，将所有m情况下的Raw<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种iToF深度数据到原始raw数据的反向生成方法，所述方法包括以下步骤：第一步骤，采集郎伯平面、朗伯平面和标定板平面组、无限远距离三种场景下iToF摄像头拍摄的原始raw数据；第二步骤，构建iToF深度数据到原始raw数据的反向生成模型；第三步骤，基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值；第四步骤，所述参数值代入反向生成模型，将三维建模合成的虚拟场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。2.根据权利要求1所述的方法，其中，优选的，第一步骤中，郎伯平面为漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数，对郎伯平面进行拍摄时，拍摄过程中相机和郎伯平面平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，设置多个等距拍摄间隔并要求对同一位置拍摄多张求得原始raw数据平均值。3.根据权利要求1所述的方法，其中，第一步骤中，以郎伯平面和标定板为一组进行拍摄，拍摄同一组平面和标定板的过程中摄像头保持不动，并针对每组的平面和标定板拍摄多组求平均值，其中，iToF摄像头对不同位置的标定板拍摄多组作为标定基，然后固定摄像头并保持与郎伯平面平行，将标定板放置于郎伯平面上进行拍摄多张并求均值，摘除标定板后对郎伯平面继续拍摄多张并求均值，这两组认定为一个对应组，然后移动摄像头以相同的方式拍摄多组。4.根据权利要求1所述的方法，其中，第一步骤中，无限远距离场景下的拍摄中，将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张，并求其原始raw数据的平均值。5.根据权利要求1所述的方法，其中，iToF摄像头包括单频摄像头或多频摄像头。6.根据权利要求1所述的方法，其中，第二步骤中，iToF摄像头的反向生成模型为：其中，i代表iToF摄像头不同的调制频率，j代表iToF摄像头不同的调制相位，k代表图像的像素位置，r
i，k
为光强系数，T
i
为频率周期，为相位，B
i，j，k
为偏移量，d
real，k
为真实深度，d
test，k
为iToF摄像头的测量深度，d
real，k
＝a
k
d
test，k
+b
k
，其中k代表图像的像素位置，a
k
为一次项，b
k
为截距。7.根据权利要求6所述的方法，其中，第二步骤中，对于部分相机，其还存在如下关系：Raw
i，j，k
＝max(min(Raw
i，j，k
，C
i
)，
...

【专利技术属性】
技术研发人员：周艳辉，邓晓天，李彤，卫莉丽，李慧，葛晨阳，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：