图像处理方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了图像处理方法、装置、存储介质及电子设备，可以应用于人工智能或车联网领域。上述方法包括获取至少两个目标图像，上述至少两个目标图像中任一目标图像均基于针对目标对象拍摄出的彩色深度图得到，任意两彩色深度图对应不同拍摄视角；基于上述至少两个目标图像，重建上述目标对象对应的三维网格模型；对基于各上述彩色深度图所得到的彩色图进行拼接，得到纹理图像；针对上述三维网格模型中的每一网格，在上述纹理图像中确定对应的纹理区域，基于上述纹理图像和纹理区域确定上述网格对应的纹理贴图；基于各网格对应的纹理贴图，重建目标对象对应的表面纹理。本申请可以得到准确的三维网格模型，并且确保稠密纹理的重建质量。理的重建质量。理的重建质量。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备


[0001]本申请实施例涉及计算机
，尤其涉及图像处理方法、装置、存储介质及电子设备。

技术介绍

[0002]相关技术中，重建出带有彩色纹理信息的三维模型是三维重建技术的重要目标之一，以人体三维重建为例，主要通过人体表面形状重建和人体表面纹理重建完成人体三维重建。但是，在形状重建和纹理重建的过程中遇到很多困难，比如，形状失真或者纹理粗糙等，从而降低了三维重建质量，影响了三维重建效果。

技术实现思路

[0003]为了解决上述至少一个技术问题，本申请实施例提供图像处理方法、装置、存储介质及电子设备。
[0004]一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0005]获取至少两个目标图像，所述至少两个目标图像中任一目标图像均基于针对目标对象拍摄出的彩色深度图得到，并且任意两个彩色深度图对应不同的拍摄视角；
[0006]基于所述至少两个目标图像，重建所述目标对象对应的三维网格模型；
[0007]对基于各所述彩色深度图所得到的彩色图进行拼接，得到纹理图像；
[0008]针对所述三维网格模型中的每一网格，在所述纹理图像中确定所述网格对应的纹理区域，基于所述纹理图像和所述纹理区域确定所述网格对应的纹理贴图；
[0009]基于各网格对应的纹理贴图和所述三维网络模型，重建所述目标对象对应的表面纹理。
[0010]另一方面，本申请实施例提供一种图像处理装置，所述装置包括：
[0011]目标图像获取模块，用于获取至少两个目标图像，所述至少两个目标图像中任一目标图像均基于针对目标对象拍摄出的彩色深度图得到，并且任意两个彩色深度图对应不同的拍摄视角；
[0012]三维网格模型重建模块，用于基于所述至少两个目标图像，重建所述目标对象对应的三维网格模型；
[0013]纹理图像获取模块，用于对基于各所述彩色深度图所得到的彩色图进行拼接，得到纹理图像；
[0014]纹理采样模块，用于针对所述三维网格模型中的每一网格，在所述纹理图像中确定所述网格对应的纹理区域，基于所述纹理图像和所述纹理区域确定所述网格对应的纹理贴图；
[0015]纹理重建模块，用于基于各网格对应的纹理贴图和所述三维网络模型，重建所述目标对象对应的表面纹理。
[0016]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种图像处理方法。
[0017]另一方面，本申请实施例提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种图像处理方法。
[0018]另一方面，本申请实施例提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的一种图像处理方法。
[0019]本申请提供的图像处理方法，可以通过点云配准的方式矫正摄像设备位姿误差带来的重建误差，恢复高质量的表面点云，从而得到准确的三维网格模型，再基于三维网格模型中的网格对于纹理图像进行反向纹理采样，得到精细的纹理贴图，从而可以为稀疏化点云生成的三维网格模型恢复稠密纹理。这种图像处理方式下可以确保三维网格模型的形状质量较高，并且三维网格的稀疏程度不会影响到对稠密纹理的重建，确保稠密纹理的重建质量。
附图说明
[0020]为了更清楚地说明本申请实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0021]图1是本说明书实施例提供的基于点云进行网格重建的效果示意图
[0022]图2是本说明书实施例提供的网格表面与纹理贴图的映射关系示意图；
[0023]图3是本说明书实施例提供的图像处理方法的一种可行的实施框架示意图；
[0024]图4是本说明书实施例提供的一种图像处理方法的流程示意图；
[0025]图5是本申请实施例提供的腐蚀对比示意图；
[0026]图6是本申请实施例提供的配准前后效果对比示意图；
[0027]图7是本申请实施例提供的点云与网格转换示意图；
[0028]图8是本申请实施例提供的三个网格模型重建流程示意图；
[0029]图9是本申请实施例提供的纹理映射错误情况的示意图；
[0030]图10是本申请实施例提供的表面纹理重建示意图；
[0031]图11是本申请实施例提供的表面纹理重建效果对比图；
[0032]图12是本申请实施例提供的图像处理装置的框图；
[0033]图13是本申请实施例提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
[0034]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下
所获得的所有其他实施例，都属于本申请实施例保护的范围。
[0035]需要说明的是，本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0036]为了使本申请实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请实施例，并不用于限定本申请实施例。
[0037]以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。为了便于理解本申请实施例上述的技术方案及其产生的技术效果，本申请实施例首先对于相关专业名词进行解释：
[0038]智能交通系统(Intelligent Traffic System，ITS)又称智能运输系统(Intelligent Transpo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取至少两个目标图像，所述至少两个目标图像中任一目标图像均基于针对目标对象拍摄出的彩色深度图得到，并且任意两个彩色深度图对应不同的拍摄视角；基于所述至少两个目标图像，重建所述目标对象对应的三维网格模型；对基于各所述彩色深度图所得到的彩色图进行拼接，得到纹理图像；针对所述三维网格模型中的每一网格，在所述纹理图像中确定所述网格对应的纹理区域，基于所述纹理图像和所述纹理区域确定所述网格对应的纹理贴图；基于各网格对应的纹理贴图和所述三维网络模型，重建所述目标对象对应的表面纹理。2.根据权利要求1所述的方法，其特征在于，所述获取至少两个目标图像，包括：触发至少两个摄像设备对所述目标对象进行拍摄，得到至少两个第一图像，所述至少两个摄像设备均为彩色深度图摄像设备；对所述至少两个第一图像进行保边滤波操作，得到至少两个第二图像；对所述至少两个第二图像进行基于深度的分割，并对分割结果进行腐蚀操作，得到所述至少两个目标图像。3.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个目标图像，重建所述目标对象对应的三维网格模型，包括：获取每一第一设备对应的第一位姿变换矩阵，所述第一位姿变换矩阵用于将所述第一设备拍摄出的图像变换至第二设备拍摄出的图像所在的标准坐标系，所述第一设备为所述至少两个摄像设备中除去所述第二设备之外的其他设备；基于各所述目标图像对应的摄像设备，确定所述目标图像对应的视角信息，所述视角信息指向所述摄像设备对应的第一位姿变换矩阵；基于每一所述目标图像以及所述目标图像对应的视角信息，得到所述目标图像对应的点云；基于各所述点云分别对应的第一位姿变换矩阵，对各所述点云进行配准，根据配准结果重建所述目标对象对应的三维网格模型，所述三维模型中的各个点均包括对应的视角信息。4.根据权利要求3所述的方法，其特征在于，所述基于各所述点云分别对应的第一位姿变换矩阵，对各所述点云进行配准，包括：针对任意两个点云，根据所述两个点云中每个点云对应的第一位姿变换矩阵，确定相对位姿变换矩阵；根据所述两个点云，以及所述相对位姿变换矩阵进行迭代配准，根据迭代配准结果优化所述相对位姿变换矩阵；根据优化后的相对位姿变换矩阵，得到所述两个点云中每个点云对应的第二位姿变换矩阵。5.根据权利要求4所述的方法，其特征在于，所述根据配准结果重建所述目标对象对应的三维网格模型，包括：对配准后得到的点云进行下采样，得到目标点云；对所述...

【专利技术属性】
技术研发人员：龚启琛，周易，余晓铭，易阳，涂娟辉，李峰，左小祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：