一种图像处理方法、装置、计算机设备以及可读存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、计算机设备以及可读存储介质，该方法涉及人工智能、智慧交通、辅助驾驶等领域，方法包括：获取N个目标图像；根据N个目标图像和N个目标图像分别对应的光源信息，生成M个像素空间位置分别对应的空间观测图；对每个空间观测图进行编码，得到每个空间观测图分别对应的编码特征向量，将每个编码特征向量，组合为与N个目标图像相关联的全局特征图；对全局特征图进行识别，得到目标对象在视觉角度上的法向量图。采用本申请，可以结合N个目标图像中的空间信息和相互信息，进而提高生成法向量图的准确性。性。性。

【技术实现步骤摘要】
一种图像处理方法、装置、计算机设备以及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、装置、计算机设备以及可读存储介质。

技术介绍

[0002]目前的法向量图生成算法直接对不同光源信息下的多个图像分别进行特征提取，得到每个图像分别对应的特征向量，进而基于每个图像分别对应的特征向量生成多个图像所指示的法向量图。然而，每个图像分别对应的特征向量仅仅只与各自图像本身相关，并未考虑到不同图像之间的关系，导致特征向量所涵盖的信息量不够丰富，从而难以确保生成法向量图的准确性。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、计算机设备以及可读存储介质，可以提高生成法向量图的准确性。
[0004]本申请实施例一方面提供了一种图像处理方法，包括：
[0005]获取N个目标图像；N个目标图像是由拍摄组件对目标对象进行拍摄所得到的；N个目标图像的视觉角度相同；N个目标图像的光源信息互不相同；每个目标图像均包含M个像素空间位置；N为大于1的正整数；M为大于1的正整数；
[0006]根据N个目标图像和N个目标图像分别对应的光源信息，生成M个像素空间位置分别对应的空间观测图；每个空间观测图均与N个目标图像相关联；
[0007]对每个空间观测图进行编码，得到每个空间观测图分别对应的编码特征向量，将每个编码特征向量，组合为与N个目标图像相关联的全局特征图；
[0008]对全局特征图进行识别，得到目标对象在视觉角度上的法向量图。
[0009]本申请实施例一方面提供了一种图像处理装置，包括：
[0010]图像获取模块，用于获取N个目标图像；N个目标图像是由拍摄组件对目标对象进行拍摄所得到的；N个目标图像的视觉角度相同；N个目标图像的光源信息互不相同；每个目标图像均包含M个像素空间位置；N为大于1的正整数；M为大于1的正整数；
[0011]观测图生成模块，用于根据N个目标图像和N个目标图像分别对应的光源信息，生成M个像素空间位置分别对应的空间观测图；每个空间观测图均与N个目标图像相关联；
[0012]观测图编码模块，用于对每个空间观测图进行编码，得到每个空间观测图分别对应的编码特征向量，将每个编码特征向量，组合为与N个目标图像相关联的全局特征图；
[0013]法向量生成模块，用于对全局特征图进行识别，得到目标对象在视觉角度上的法向量图。
[0014]其中，观测图编码模块包括：
[0015]观测图编码单元，用于将每个空间观测图输入至目标网络模型中的编解码子网络；编解码子网络包括编码网络层；
[0016]观测图编码单元，用于通过编码网络层对每个空间观测图进行编码，得到每个空间观测图分别对应的编码特征向量；
[0017]向量组合单元，用于在编解码子网络中，按照每个编码特征向量所对应的像素空间位置，将每个编码特征向量，组合为与N个目标图像相关联的全局特征图。
[0018]其中，法向量生成模块，具体用于将全局特征图输入至目标网络模型中的回归子网络，通过回归子网络对全局特征图进行特征提取，生成目标对象在视觉角度上的法向量图。
[0019]其中，法向量生成模块，具体用于将全局特征图中的每个编码特征向量分别输入至目标网络模型中的回归子网络，通过回归子网络对每个编码特征向量分别进行注意力处理，生成每个编码特征向量分别对应的注意力特征向量；
[0020]法向量生成模块，具体用于将每个注意力特征向量，组合为目标对象在视觉角度上的法向量图。
[0021]其中，光源信息包括光源方向和光源强度；
[0022]观测图生成模块包括：
[0023]参数输入单元，用于将N个目标图像、N个目标图像分别对应的光源方向和N个目标图像分别对应的光源强度输入至目标网络模型；目标网络模型包括映射子网络；
[0024]特征映射单元，用于通过映射子网络对N个目标图像、N个目标图像分别对应的光源方向和N个目标图像分别对应的光源强度进行特征映射，生成M个像素空间位置分别对应的空间观测图。
[0025]其中，M个像素空间位置包括像素空间位置M
i
；i为小于或等于M的正整数；
[0026]特征映射单元包括：
[0027]位置确定子单元，用于通过映射子网络对N个目标图像分别对应的光源方向进行分解，得到每个目标图像分别对应的横轴光源方向分量和每个目标图像分别对应的纵轴光源方向分量；
[0028]位置确定子单元，用于根据每个目标图像分别对应的横轴光源方向分量和每个目标图像分别对应的纵轴光源方向分量，确定每个目标图像分别对应的矩阵元素位置；
[0029]像素值确定子单元，用于根据每个目标图像分别在像素空间位置M
i
上的像素值和每个目标图像分别对应的光源强度，生成每个目标图像分别对应的空间像素值；
[0030]矩阵生成子单元，用于按照每个目标图像分别对应的矩阵元素位置，将每个目标图像分别对应的空间像素值添加至空间观测矩阵中，将已添加每个目标图像分别对应的空间像素值的空间观测矩阵，确定为像素空间位置M
i
对应的空间观测图。
[0031]其中，N个目标图像包括目标图像N
j
；j为小于或等于N的正整数；
[0032]矩阵生成子单元，具体用于根据目标图像N
j
对应的矩阵元素位置，确定目标图像N
j
在空间观测矩阵中的元素位置S
j
，将目标图像N
j
对应的空间像素值添加至空间观测矩阵中的元素位置S
j
。
[0033]其中，装置还包括：
[0034]对象重建模块，用于基于法向量图对目标对象进行立体空间重建，生成目标对象对应的重建对象；
[0035]异常识别模块，用于对重建对象进行异常识别，得到用于标注目标对象的异常标
注区域和异常标注区域的异常分类结果。
[0036]本申请实施例一方面提供了一种图像处理方法，包括：
[0037]获取N个样本图像；N个样本图像是由拍摄组件对样本对象进行拍摄所得到的；N个样本图像的样本视觉角度相同；N个样本图像的样本光源信息互不相同；每个样本图像均包含M个样本像素空间位置；N为大于1的正整数；M为大于1的正整数；
[0038]在初始网络模型中，根据N个样本图像和N个样本图像分别对应的样本光源信息，生成M个样本像素空间位置分别对应的样本空间观测图；每个样本空间观测图均与N个样本图像相关联；
[0039]对每个样本空间观测图进行编码，得到每个样本空间观测图分别对应的样本编码特征向量，将每个样本编码特征向量，组合为与N个样本图像相关联的样本全局特征图；
[0040]对样本全局特征图进行识别，得到样本对象在样本视觉角度上的样本法向量图；
[0041]对每个样本编码特征向量进行解码，得到每个样本编码特征向量分别对应的解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取N个目标图像；所述N个目标图像是由拍摄组件对目标对象进行拍摄所得到的；所述N个目标图像的视觉角度相同；所述N个目标图像的光源信息互不相同；每个目标图像均包含M个像素空间位置；所述N为大于1的正整数；所述M为大于1的正整数；根据所述N个目标图像和所述N个目标图像分别对应的光源信息，生成所述M个像素空间位置分别对应的空间观测图；每个空间观测图均与所述N个目标图像相关联；对每个空间观测图进行编码，得到所述每个空间观测图分别对应的编码特征向量，将每个编码特征向量，组合为与所述N个目标图像相关联的全局特征图；对所述全局特征图进行识别，得到所述目标对象在所述视觉角度上的法向量图。2.根据权利要求1所述的方法，其特征在于，所述对每个空间观测图进行编码，得到所述每个空间观测图分别对应的编码特征向量，将每个编码特征向量，组合为与所述N个目标图像相关联的全局特征图，包括：将每个空间观测图输入至目标网络模型中的编解码子网络；所述编解码子网络包括编码网络层；通过所述编码网络层对所述每个空间观测图进行编码，得到所述每个空间观测图分别对应的编码特征向量；在所述编解码子网络中，按照每个编码特征向量所对应的像素空间位置，将所述每个编码特征向量，组合为与所述N个目标图像相关联的全局特征图。3.根据权利要求1所述的方法，其特征在于，所述对所述全局特征图进行识别，得到所述目标对象在所述视觉角度上的法向量图，包括：将所述全局特征图输入至目标网络模型中的回归子网络，通过所述回归子网络对所述全局特征图进行特征提取，生成所述目标对象在所述视觉角度上的法向量图。4.根据权利要求1所述的方法，其特征在于，所述对所述全局特征图进行识别，得到所述目标对象在所述视觉角度上的法向量图，包括：将所述全局特征图中的所述每个编码特征向量分别输入至目标网络模型中的回归子网络，通过所述回归子网络对所述每个编码特征向量分别进行注意力处理，生成所述每个编码特征向量分别对应的注意力特征向量；将每个注意力特征向量，组合为所述目标对象在所述视觉角度上的法向量图。5.根据权利要求1所述的方法，其特征在于，所述光源信息包括光源方向和光源强度；所述根据所述N个目标图像和所述N个目标图像分别对应的光源信息，生成所述M个像素空间位置分别对应的空间观测图，包括：将所述N个目标图像、所述N个目标图像分别对应的光源方向和所述N个目标图像分别对应的光源强度输入至目标网络模型；所述目标网络模型包括映射子网络；通过所述映射子网络对所述N个目标图像、所述N个目标图像分别对应的光源方向和所述N个目标图像分别对应的光源强度进行特征映射，生成所述M个像素空间位置分别对应的空间观测图。6.根据权利要求5所述的方法，其特征在于，所述M个像素空间位置包括像素空间位置M
i
；所述i为小于或等于所述M的正整数；所述通过所述映射子网络对所述N个目标图像、所述N个目标图像分别对应的光源方向
和所述N个目标图像分别对应的光源强度进行特征映射，生成所述M个像素空间位置分别对应的空间观测图，包括：通过所述映射子网络对所述N个目标图像分别对应的光源方向进行分解，得到所述每个目标图像分别对应的横轴光源方向分量和所述每个目标图像分别对应的纵轴光源方向分量；根据所述每个目标图像分别对应的横轴光源方向分量和所述每个目标图像分别对应的纵轴光源方向分量，确定所述每个目标图像分别对应的矩阵元素位置；根据所述每个目标图像分别在所述像素空间位置M
i
上的像素值和所述每个目标图像分别对应的光源强度，生成所述每个目标图像分别对应的空间像素值；按照所述每个目标图像分别对应的矩阵元素位置，将所述每个目标图像分别对应的空间像素值添加至空间观测矩阵中，将已添加所述每个目标图像分别对应的空间像素值的空间观测矩阵，确定为所述像素空间位置M
i
对应的空间观测图。7.根据权利要求6所述的方法，其特征在于，所述N个目标图像包括目标图像N
j
；所述j为小于或等于所述N的正整数；所述按照所述每个目标图像分别对应的矩阵元素位置，将所述每个目标图像分别对应的空间像素值添加至空间观测矩阵中，包括：根据所述目标图像N
j
对应的矩阵元素位置，确定所述目标图像N
j
在空间观测矩阵中的元素位置S
j
，将所述目标图像N
j
对应的空间像素值添加至所述空间观测矩阵中的元素位置S
j
。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述法向量图对所述目标对象进行立体空间重建，生成所述目标对象对应的重建对象；对所述重建对象进行异常识别，得到用于标注所述目标对象的异常标注区域和所述异常标注区域的异常分类结果。9.一种图像处理方法，其特征在于，包括：获取N个样本图像；所述N个样本图像是由拍摄组件对样本对象进行拍摄所得到的；所述N个样本图像的样本视觉角度相同；所述N个样本图像的样本光源信息互不相同；每个样本图像均包含M个样本像素空间位置；所述N为大于1的正整数；所述M为大于1的正整数；在初始网络模型中，根据所述N个样本图像和所述N个样本图像分别对应的样本光源信息，生成所述M个样本像素空间位置分别对应的样本空间观测图；每个样本空间观测图均与所述N个样本图像相...

【专利技术属性】
技术研发人员：林愉欢，汪铖杰，刘永，李嘉麟，张舒翼，吴凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：