用于TOF模组的多径干扰校正方法及其系统和电子设备技术方案

一种用于TOF模组的多径干扰校正方法及其系统和电子设备。该用于TOF模组的多径干扰校正方法包括步骤通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。

【技术实现步骤摘要】
用于TOF模组的多径干扰校正方法及其系统和电子设备
本专利技术涉及TOF
，尤其是涉及用于TOF模组的多径干扰校正方法及其系统和电子设备。
技术介绍
TOF(Timeofflight，飞行时间)技术是光学测量技术中表现较为突出的一种，可应用于机器人/无人机、体感娱乐、监控安防、智慧物流等领域，是近年的研究热点之一。TOF模组作为目前3D深度相机的主要成员之一，其原理是通过发射器连续发送光脉冲(一般为不可见光)到被测物体上，然后用传感器接收从被测物体反射回来的光脉冲，进而通过光脉冲的飞行(往返)时间来得到被测物体与相机的距离。由于TOF深度测量原理的前提是假设接收的光信号仅经过一次反射，但在实际场景中光信号通常会发生多次反射，这导致TOF模组接收的光信号是多个光信号的叠加，进而导致测量出的深度信息会出现偏差，因此为了获取更精准的深度信息，需要对因多径干扰而导致的测量误差进行校正。目前，基于TOF模组的多径干扰校正通常存在两种解决方案：第一种方案是更改TOF模组的硬件，如添加结构光编码照明或添加更多的调制频率；第二种方案是调整TOF模组的软件，如建立光信号传播防震模型或诸如自编码器模型的深度学习框架。然而，针对第一种方案，更改TOF模组的硬件将大幅地增加模组结构的复杂程度，提高模组的制造成本；特别是对于已出厂的TOF模组而言，更改模组硬件是不可实现的。针对第二种方案，如果通过建立光信号传播仿真模型直接求解测量偏差(误差)，以进行多径干扰的校正，则会因求解过程中计算量极大而导致耗时很长，进而造成这种方法无法满足TOF模组的实时应用需求；而如果建立自编码器模型，先通过编码器学习一组合适的基于表征被多径干扰的深度图的特征，再通过训练好的解码器从带有多径干扰的深度图中恢复出不带有多径干扰的深度图，则会因直接暴力地学习多径干扰的误差分布，导致恢复出的深度图并不能保留原有的结构信息。
技术实现思路
本专利技术的一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其能够在不改变TOF模组硬件的情况下，确保校正深度图保留原有的结构信息。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法不仅从深层次解析了多径干扰的仿真模型，而且能够大幅地提高校正效率和校正精度，有助于满足后续应用的实时需求。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法能够在不更改TOF模组硬件的情况下，实时校正带有多径干扰的TOF数据以获得保留了几何、结构信息的校正深度图。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法不仅能够解决真实数据采集困难、不全面的问题，而且能够完美地适配各种TOF模组的特性，进而确保合成的带有多径干扰的TOF数据与真实的带有多径干扰的TOF数据之间保持较好的一致性。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法能够很好地学习多径干扰误差的特征分布，以较好地评估当前深度数据来自真实数据的概率，从而确保了所述校正深度图的几何、结构信息。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法能够采用最小二乘损失函数来代替cGAN损失函数的交叉熵，有助于解决cGAN损失函数训练不稳定、生成图像质量差、多样性不足的问题。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述多径干扰校正方法能够对TOF模组进行系统误差的校正，以便消除TOF模组系统误差对真实数据的影响。本专利技术的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中为了达到上述优势，在本专利技术中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本专利技术成功和有效地提供一解决方案，不只提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，同时还增加了所述用于TOF模组的多径干扰校正方法及其系统和电子设备的实用性和可靠性。为了实现上述至少一优势或其他优势和目的，本专利技术提供了用于TOF模组的多径干扰校正方法，其特征在于，包括步骤：通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。在本专利技术的一实施例中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，包括步骤：建立该带有多径干扰的光信号传播仿真模型；确定TOF模组的视角和参数；通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；以及基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。在本专利技术的一实施例中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，进一步包括步骤：对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；和根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。在本专利技术的一实施例中，在所述构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合的步骤中：通过Blender工具，根据该TOF模组的视角和参数，生成与该带有多径干扰的TOF互相关图一一对应的该不带多径干扰的TOF深度图。在本专利技术的一实施例中，所述基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型的步骤，包括步骤：搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；和基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反本文档来自技高网...

【技术保护点】
1.用于TOF模组的多径干扰校正方法，其特征在于，包括步骤：/n通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；/n构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；/n基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及/n通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。/n

【技术特征摘要】
1.用于TOF模组的多径干扰校正方法，其特征在于，包括步骤：
通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。


2.如权利要求1所述的用于TOF模组的多径干扰校正方法，其中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，包括步骤：
建立该带有多径干扰的光信号传播仿真模型；
确定TOF模组的视角和参数；
通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；以及
基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。


3.如权利要求2所述的用于TOF模组的多径干扰校正方法，其中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，进一步包括步骤：
对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；和
根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。


4.如权利要求1至3中任一所述的用于TOF模组的多径干扰校正方法，其中，在所述构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合的步骤中：
通过Blender工具，根据该TOF模组的视角和参数，生成与该带有多径干扰的TOF互相关图一一对应的该不带多径干扰的TOF深度图。


5.如权利要求4所述的用于TOF模组的多径干扰校正方法，其中，所述基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型的步骤，包括步骤：
搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；和
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练该多径干扰校正模型中的该生成模型和该判别模型。


6.如权利要求5所述的用于TOF模组的多径干扰校正方法，其中，所述通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图的步骤，包括步骤：
对经由该TOF模组采集的该TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；和
将该校正系统误差后的TOF数据输入该训练好的多径干扰模型中的该生成模型，以输出该TOF校正深度图。


7.如权利要求6所述的用于TOF模组的多径干扰校正方法，其中，该TOF模组的系统误差包括由非标准波带来的周期性误差、由入射光强度不同引入的误差、由积分时间不同引起的误差以及由温度变化带来的误差中的一种或多种。


8.用于TOF模组的多径干扰校正系统，用于校正TOF模组的多径干扰误差，其特征在于，其中所述用于TOF模组的多径干扰校正系统包括依次可通信地连接的：
一数据合成模块，用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
一数据构建模块，用于构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
一模型训练模块，用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
一校正模块，用...

【专利技术属性】
技术研发人员：汲梦宇，田文军，蒋坤君，胡增新，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：浙江;33