点云优化方法、系统、电子设备及存储介质技术方案

本发明专利技术公开了一种点云优化方法、系统、电子设备及存储介质，该点云优化方法包括：获取目标物的初始点云和RGB图像；对所述初始点云进行预处理，得到预处理点云；对所述预处理点云进行网格化，得到网格化点云；计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量；根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果；根据所述渲染结果及所述RGB图像计算损失函数，以迭代优化所述网格化点云。本发明专利技术提供的点云优化方法，通过获取目标物的RGB图像信息作为系统输入，以此指导点云优化的方向，这样就不需要增加额外的设备，避免了系统搭建的冗余已经成本的上升。成本的上升。成本的上升。

【技术实现步骤摘要】
点云优化方法、系统、电子设备及存储介质


[0001]本专利技术是关于图像处理领域，特别是关于一种结构光点云优化方法、系统、电子设备及存储介质。

技术介绍

[0002]基于结构光三维重建具有非接触、精度高的特点，在工业检测、文物数字化、智能终端等领域有着越来越广泛的应用。机器学习的发展进一步促进了其在医疗、美容等设备安全需求更高领域的深层次应用。在各种应用中，重建生成的精度与密度都对应用的效率以及准确性有着极其重要的影响，更精确的点云能在应用中获得更高的定位效率和重建效果；更稠密的点云往往能极大的提高应用的分辨率。
[0003]在实际应用中，由于自然环境、仪器设备以及信号固有属性等影响，结构光三维重建获得的点云往往受到噪声的污染，导致重建的质量下降，最终影响了应用的效果。为了优化结构光三维重建生成的点云，人们提出了基于深度相机的点云优化、基于光度立体法的点云优化、基于极大似然法的点云优化等，但是由于增加需要额外的设备、降噪原理等局限性，往往在实际的应用中并不会采用。
[0004]因此，针对上述问题，有必要提供一种新的点云优化方法、系统、电子设备及存储介质。

技术实现思路

[0005]本专利技术的目的在于提供一种点云优化方法、系统、电子设备及存储介质，其能够提高点云精度、增加点云密度，提高物体的重建效果。
[0006]为实现上述目的，本专利技术提供的技术方案如下：
[0007]第一方面，本专利技术提供了一种点云优化方法，其包括：
[0008]获取目标物的初始点云和RGB图像；
[0009]对所述初始点云进行预处理，得到预处理点云；
[0010]对所述预处理点云进行网格化，得到网格化点云；
[0011]计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量；
[0012]根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果；
[0013]根据所述渲染结果及所述RGB图像计算损失函数，以迭代优化所述网格化点云。
[0014]在一个或多个实施方式中，所述获取目标物的初始点云和RGB图像，包括：
[0015]根据结构光模块的基准相机获取目标物的初始点云，并根据结构光模块的RGB相机获取所述目标物的RGB图像。
[0016]在一个或多个实施方式中，所述对所述初始点云进行预处理，得到预处理点云，包括：
[0017]根据体素网格法对所述初始点云进行下采样，并根据移动最小二乘法对所述下采
样后的初始点云进行平滑处理，得到预处理点云。
[0018]在一个或多个实施方式中，所述对所述预处理点云进行网格化，得到网格化点云，包括：
[0019]根据贪婪投影法对所述预处理点云进行三角面片网格化，得到三角面片网格化点云。
[0020]在一个或多个实施方式中，所述计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量，包括：
[0021]根据所述预处理点云坐标系与所述RGB图像坐标系的转换关系，计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量。
[0022]在一个或多个实施方式中，所述根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果，包括：
[0023]根据所述顶点坐标和所述法向量对所述网格化点云进行投影变换，光栅化所述投影变换后的网格化点云的顶点及法向量，着色处理并输出粗糙渲染结果；
[0024]根据所述顶点坐标和所述法向量，光栅化所述网格化点云的顶点及法向量，对所述光栅化后的顶点及法向量进行置换贴图，着色处理并输出精细渲染结果。
[0025]在一个或多个实施方式中，所述根据所述渲染结果及所述RGB图像计算损失函数，以迭代优化所述网格化点云，包括：
[0026]将所述粗糙渲染结果和所述精细渲染结果分别与所述RGB图像计算L1范数的损失函数，反向传播迭代优化所述可微渲染过程中的光照、反照率和置换贴图信息，以迭代优化所述网格化点云。
[0027]第二方面，本专利技术提供了一种点云优化系统，其特征在于，包括：
[0028]结构光模块，用于获取目标物的初始点云和RGB图像；
[0029]预处理模块，用于对所述初始点云进行预处理，得到预处理点云；
[0030]网格化模块，用于对所述预处理点云进行网格化，得到网格化点云；
[0031]计算模块，用于计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量；
[0032]可微渲染模块，用于根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果；
[0033]优化模块，用于根据所述渲染结果及所述RGB图像计算损失函数，以迭代优化所述网格化点云。
[0034]第三方面，本专利技术提供了一种电子设备，包括存储器、处理器、以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述的点云优化方法。
[0035]第四方面，本专利技术提供了一种计算机存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前所述的点云优化方法。
[0036]与现有技术相比，本专利技术提供的点云优化方法，通过获取目标物的RGB图像信息作为系统输入，以此指导点云优化的方向，这样就不需要增加额外的设备，避免了系统搭建的冗余已经成本的上升；而且，在可微渲染过程中，可实现对原有点云的上采样，当RGB相机的
分辨率越高，获得的点云细节就更多，大大的提高了点云优化的上限，使重建效果更加逼真。
附图说明
[0037]图1是本专利技术一实施方式中点云优化方法的流程框图；
[0038]图2是本专利技术一实施方式中结构光模块的使用场景示意图；
[0039]图3是本专利技术一实施方式中网格化方式的示意图；
[0040]图4是本专利技术一实施方式中粗糙渲染的流程框图；
[0041]图5是本专利技术一实施方式中精细渲染的流程框图；
[0042]图6是本专利技术一实施方式中点云优化系统的结构框图；
[0043]图7是本专利技术一实施方式中电子设备的结构框图。
具体实施方式
[0044]下面结合附图，对本专利技术的具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。
[0045]除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
[0046]请参照图1所示，为本专利技术一实施方式中的点云优化方法的流程图，该点云优化方法包括以下步骤：
[0047]S101：获取目标物的初始点云和RGB图像。
[0048]一示例性的实施例中，根据结构光模块的基准相机获取目标物的初始点云，并根据结构光模块的RGB相机获取所述目标物的RGB图像。
[0049]需要说明的是，请参照图2所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云优化方法，其特征在于，包括：获取目标物的初始点云和RGB图像；对所述初始点云进行预处理，得到预处理点云；对所述预处理点云进行网格化，得到网格化点云；计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量；根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果；根据所述渲染结果及所述RGB图像计算损失函数，以迭代优化所述网格化点云。2.如权利要求1所述的点云优化方法，其特征在于，所述获取目标物的初始点云和RGB图像，包括：根据结构光模块的基准相机获取目标物的初始点云，并根据结构光模块的RGB相机获取所述目标物的RGB图像。3.如权利要求1所述的点云优化方法，其特征在于，所述对所述初始点云进行预处理，得到预处理点云，包括：根据体素网格法对所述初始点云进行下采样，并根据移动最小二乘法对所述下采样后的初始点云进行平滑处理，得到预处理点云。4.如权利要求1所述的点云优化方法，其特征在于，所述对所述预处理点云进行网格化，得到网格化点云，包括：根据贪婪投影法对所述预处理点云进行三角面片网格化，得到三角面片网格化点云。5.如权利要求1所述的点云优化方法，其特征在于，所述计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量，包括：根据所述预处理点云坐标系与所述RGB图像坐标系的转换关系，计算所述网格化点云在所述RGB图像坐标系中的顶点坐标和法向量。6.如权利要求1所述的点云优化方法，其特征在于，所述根据所述顶点坐标和所述法向量对所述网格化点云进行可微渲染，并输出渲染结果，包括：根据所述顶点坐标和所述法向量对所述网格...

【专利技术属性】
技术研发人员：万庭雷，刘欣，王旭光，周扬帆，嵇亚飞，程诚，黎江，
申请(专利权)人：中国科学院苏州纳米技术与纳米仿生研究所，
类型：发明
国别省市：