抗强环境光干扰的三维测量方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种抗强环境光干扰的三维测量方法、系统、设备及存储介质，相关方案通过一个经过适当训练的深度学习网络，从受强环境光影响的单幅条纹图像中提取高精度的相位信息，只需三条不同频率的条纹即可获得高质量的三维成像结果；实验结果表明，基于深度学习的反环境光投影轮廓技术可以减少相位误差，实现高质量的三维形状重建。与传统方法相比，消除了高直流分量，而且明显增强了条纹调制，具有更好的三维成像能力，并且解决了环境光对于条纹投影轮廓术的限制，在光学领域具备很大的实用价值。用价值。用价值。

【技术实现步骤摘要】
抗强环境光干扰的三维测量方法、系统、设备及存储介质


[0001]本专利技术涉及深度学习和光学三维成像
，尤其涉及一种抗强环境光干扰的三维测量方法、系统、设备及存储介质。

技术介绍

[0002]近二十年来，光学三维成像技术得到了蓬勃发展，并在逆向工程、无损检测和生物医学等领域得到了广泛的应用。光学三维成像技术通常分为被动和主动两种方法。结构光（SL）技术是一种典型的利用投影仪光源投射编码图案的主动光学方法。其中条纹投影轮廓术（FPP）具有精度高、分辨率高等优点，是目前应用最广泛的一种结构光投影方法。在FPP方法中，投影仪首先将一系列的条纹图案投射到目标物体上，然后摄像机捕捉这些经过物体表面高度调制后的变形图像，再通过特定算法提取捕获图像的相位信息，最后通过相位与深度的映射关系，实现对目标物体表面三维形貌的成像。条纹图像获取是FPP的关键步骤，即摄像机捕获目标物体表面反射的光和额外的环境光。在这一步骤中获取的原始条纹图的好坏将直接影响到后续的相位计算和三维重建。为了保证高质量的三维成像，FPP系统通常设置在低照度或暗室以抑制环境光的影响，但当需要在户外获得高精度的物体三维形状时，FPP系统的性能并不理想。投射的条纹会受到外界无法控制的强环境光的影响，从而使包含物体表面信息的调制信号被淹没在环境光中，导致捕获的条纹图的条纹对比度低。利用这样受影响的条纹图计算的相位会偏离理想值，从而导致三维重建误差。因此，为了实现高环境光场景下的高精度三维成像，解决环境光下条纹对比度降低的问题是至关重要的。
[0003]增加投影条纹数目可以减小相位误差，但测量效率大大降低；傅立叶变换（FT）方法可以滤除噪声的频谱，但这些方法会丢失三维细节。近年来，深度学习被成功地应用于传统的FPP。研究人员试图利用深度神经网络来取代FPP的部分或全部步骤，以提高测量效率或解决传统方法中固有的问题，如条纹分析、去噪、增强、相位展开、误差补偿和单次测量，这为解决环境光的影响提供了新的可能，但是，目前还没有较为有效的方案。

技术实现思路

[0004]本专利技术的目的是提供一种抗强环境光干扰的三维测量方法、系统、设备及存储介质，可以减少相位误差，实现高质量的三维形状重建。
[0005]本专利技术的目的是通过以下技术方案实现的：一种抗强环境光干扰的三维测量方法，包括：使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
[0006]一种抗强环境光干扰的三维测量系统，包括：数据集真值计算单元，用于使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；训练数据集生成单元，用于定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；网络构建与训练单元，用于基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；三维成像单元，用于将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
[0007]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0008]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0009]由上述本专利技术提供的技术方案可以看出：（1）通过一个经过适当训练的深度学习网络，从受强环境光影响的单幅条纹图像中提取高精度的相位信息，只需三条不同频率的条纹即可获得高质量的三维成像结果；实验结果表明，基于深度学习的反环境光投影轮廓技术可以减少相位误差，实现高质量的三维形状重建。（2）与传统方法相比，增强了条纹对比度，而且明显增强了条纹调制强度，具有更好的三维成像能力。（3）解决了环境光对于条纹投影轮廓术的限制，在光学领域具备很大的实用价值。
附图说明
[0010]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0011]图1为本专利技术实施例提供的一种抗强环境光干扰的三维测量方法的流程图；图2为本专利技术实施例提供的对待成像的条纹图像的三维成像流程图；图3为本专利技术实施例提供的第一个场景数据的示意图；图4为本专利技术实施例提供的第二个场景数据的示意图；图5为本专利技术实施例提供的第一个场景数据的预测结果示意图；
图6为本专利技术实施例提供的第二个场景数据的预测结果示意图；图7为本专利技术实施例提供的抗环境光网络性格效果示意图图；图8为本专利技术实施例提供的本专利技术的方法和传统方法（FTP、3
‑
Step）的相位误差分布示意图；图9为本专利技术实施例提供的本专利技术的方法和传统方法（FTP、3
‑
Step）的三维重建结果示意图；图10为本专利技术实施例提供的本专利技术的方法和传统方法（3
‑
Step、12
‑
Step）在真实强环境光场景中的三维重建结果示意图；图11为本专利技术实施例提供的标准陶瓷球的精度分析示意图；图12为本专利技术实施例提供的标准陶瓷板的精度分析示意图；图13为本专利技术实施例提供的本专利技术的方法和传统方法（3
‑
Step、12
‑
Step）在有阳光的室外场景中的三维重建结果示意图；图14为本专利技术实施例提供的一种抗强环境光干扰的三维测量系统的示意图；图15为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0012]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抗强环境光干扰的三维测量方法，其特征在于，包括：使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。2.根据权利要求1所述的一种抗强环境光干扰的三维测量方法，其特征在于，所述使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项包括：在无环境光照的条件下，利用K步相移算法，将K幅条纹图案依次投射到物体上，捕获三种不同频率的条纹图像；对于当前物体，三种种频率的条纹图像的关系式表示为：种不同频率的条纹图像；对于当前物体，三种种频率的条纹图像的关系式表示为：种不同频率的条纹图像；对于当前物体，三种种频率的条纹图像的关系式表示为：其中，、和分别表示三种不同频率的条纹图像，角标1、2、3分别为三种不同频率的标记符号，数字越高对应的频率值越高，k=1,
…
,N表示移相的次数；A1、A2和A3表示对应频率的平均强度，B1、B2和B3示对应频率的条纹调制强度；、和表示对应频率的包裹相位；为圆周率；根据捕获得到的三种不同频率的条纹图像，通过相位分析，获得：根据捕获得到的三种不同频率的条纹图像，通过相位分析，获得：根据捕获得到的三种不同频率的条纹图像，通过相位分析，获得：
其中，，，，，，；N1，N2与N3为对应频率的包裹相位的分子项，D1，D2与D3为对应频率的包裹相位的分母项。3.根据权利要求1或2所述的一种抗强环境光干扰的三维测量方法，其特征在于，定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项包括：设置场景数目为三组，定量地调整投影条纹图案的平均强度和调制强度，以设定间隔s增强条纹的平均强度，并降低相应的调制强度，对同一物体拍摄三组场景，第一组场景的平均强度和调制强度表示为，S为设定值；第二组场景的平均强度和调制强度表示为，第三组场景的平均强度和调制强度表示为 ；其中，第一组场景为正常场景，其对应无环境光的场景，第二组场景与第三组场景为受到环境光影响的场景，且第二组场景下的环境光影响小于第三组场景下的环境光影响；每一组场景下均获得对应的三种不同频率条纹图像序列，从每一种频率条纹图像序列中选出相同位置条纹图像作为数据集的输入项。4.根据权利要求1所述的一种抗强环境光干扰的三维测量方法，其特征在于，所述生成用于网络训练的数据集包括：对于每一物体对应的三种不同频率条纹图像序列的相同位置的条纹图像，利用条纹调制强度B构造掩码函数Mask来消除条纹图像的无效点；所述条纹调制强度B表示为：其中，N1、D1分别为物体对应的第一种频率的分子项、分母项；掩码函数Mask表示为：其中，Thr为设定的阈值；汇总所有物体对应的消除无效点的三种不同频率的条纹图像，按照比例进行划分，获得用于网络训练的数据集。5.根据权利要求1所述的一种抗强环境光干扰的三维测量方法，其特征在于，所述利用构建的数据集及相应的真值训练抗环...

【专利技术属性】
技术研发人员：金一，张睿虎，江俊男，段明辉，范鑫，吕盼稂，陈恩红，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：