本申请实施例公开了一种图像识别、预测模型处理方法、三维建模方法和装置。依据本申请实施例，获取目标相机图像的第一图像特征，将目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征，提取网格单元的网格特征对应在特定视角下的第二图像特征，也即是将三维空间网格单元下的网格特征作为中间转换过程，实现了将相机图像的二维图像特征转换到特定视角下的二维图像特征，进一步根据特定视角下的第二图像特征，可以识别目标相机图像在三维空间中对应的目标对象。由此可见，本申请提供了一种新的对象识别方案，可以将图像特征切换到其他视角进行对象识别。切换到其他视角进行对象识别。切换到其他视角进行对象识别。
【技术实现步骤摘要】
一种图像识别、预测模型处理方法、三维建模方法和装置
[0001]本申请涉及数据处理
，具体涉及一种图像识别方法和装置、一种预测模型的处理方法和装置、一种三维建模方法和装置、一种电子设备、一种机器可读介质、一种软件产品。
技术介绍
[0002]在感知理解场景中，相机作为性价比最高的传感器，被广泛应用在所有城市理解与自动驾驶场景中。通过将相机采集的二维信息映射到三维空间，构建三维场景，在空间定位、智慧驾驶等诸多领域中发挥了重要作用，已经被广泛应用生产生活中，具有较大经济价值。
[0003]为了完成二维空间与三维空间的实时映射，拓展下游任务的多样性和丰富三维场景理解，单目三维检测的技术应运而生。单目三维检测通过相机画面得到物体在三维空间的位置与姿态信息，进而构建丰富的场景信息。
[0004]经申请人研究发现，上述方案中，由于各个场景下相机摆放的位置姿态不一致，场景空间变化大，并且观测范围局限在整个场景的局部空间，难以准确地还原三维场景的实际情况。
技术实现思路
[0005]鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像识别方法和装置、预测模型的处理方法和装置、三维建模方法和装置、电子设备、机器可读介质、软件产品。
[0006]依据本申请的一个方面，提供了一种图像识别方法，包括：获取目标相机图像的第一图像特征；将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征；提取所述网格单元的网格特征对应在特定视角下的第二图像特征；根据所述特定视角下的第二图像特征，识别所述目标相机图像在三维空间中对应的目标对象。
[0007]可选的，所述将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征包括：按照三维空间中网格单元与相机图像的像素点之间的坐标映射关系，将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征。
[0008]可选的，所述方法还包括：将三维空间划分为多个立体的网格单元，创建三维空间的网格单元与相机图像的像素点之间的坐标映射关系。
[0009]可选的，所述创建三维空间的网格单元与相机图像的像素点之间的坐标映射关系包括：
将所述三维空间的网格单元的中心点按照相机参数转换为二维的相机图像中像素点的坐标值；确定所述中心点的坐标值和像素点的坐标值之间的映射关系。
[0010]可选的，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征包括：提取所述网格单元的网格特征对应在鸟瞰视角下的第二图像特征。
[0011]可选的，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征包括：提取所述网格单元的网格特征在特定视角下的二维平面对应的图像特征作为第二图像特征。
[0012]可选的，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征还包括：对所述特定视角下的第二图像特征对应的特征图进行下采样处理，获得多个不同尺寸的采样结果；对采样结果进行双线性上采样，并对上采样结果进行融合处理，将合并后对应原始尺寸的特征图替换为第二图像特征。
[0013]可选的，所述方法基于目标模型实现，所述方法还包括：训练用于识别目标对象的预测模型。
[0014]可选的，所述训练用于识别目标对象的预测模型包括：使用标记有目标对象的识别结果的相机图像样本进行预测模型的训练，所述目标对象的识别结果采用三维框表征；在训练过程中，确定相机图像样本标记的三维框对应的第一图像特征和第二图像特征，并确定所述第一图像特征和第二图像特征之间的坐标转换关系；对使用所述预测模型预测的三维框对应的第一图像特征和所述坐标转换关系预测第二图像特征，并根据预测的第二图像特征与所述相机图像样本标记的三维框对应的第二图像特征的差异，确定第一损失函数，用于训练所述预测模型。
[0015]可选的，所述相机图像样本还标记有所述目标对象的分类识别结果和尺寸识别结果，所述训练用于识别目标对象的预测模型包括：使用所述预测模型预测的分类识别结果和尺寸识别结果，与所述相机图像样本标记的分类识别结果和尺寸识别结果的差异，分别确定第二损失函数和第三损失函数，用于训练所述预测模型。
[0016]依据本申请的另一个方面，提供了一种预测模型的处理方法，包括：提取相机图像样本的第一图像特征，所述相机图像样本标记有目标对象的第一识别结果；将所述相机图像样本的第一图像特征转换为三维空间中网格单元的网格特征；提取所述网格单元的网格特征对应在特定视角下的第二图像特征；根据所述特定视角下的第二图像特征，确定所述相机图像样本在三维空间中对应的目标对象的第二识别结果；根据所述第一识别结果和第二识别结果的差异进行预测模型的训练。
[0017]可选的，所述目标对象的识别结果采用三维框表征；所述根据所述第一识别结果和第二识别结果的差异进行预测模型的训练包括：在训练过程中，确定相机图像样本标记的三维框对应的第一图像特征和第二图像特征，并确定所述第一图像特征和第二图像特征之间的坐标转换关系；对使用所述预测模型预测的三维框对应的第一图像特征和所述坐标转换关系预测第二图像特征，并根据预测的第二图像特征与所述相机图像样本标记的三维框对应的第二图像特征的差异，确定第一损失函数，用于训练所述预测模型。
[0018]依据本申请的另一个方面，提供了一种三维建模方法，包括：获取针对目标对象采集的至少一张相机图像；获取从所述至少一张相机图像中识别到的所述目标对象在三维空间中对应的三维数据；所述三维数据在提取所述相机图像中的第一图像特征后，根据所述第一图像特征转换的三维空间中网格单元的网格特征所对应在特定视角下的第二图像特征生成；基于所述三维数据创建所述目标对象对应的三维模型。
[0019]依据本申请的另一个方面，提供了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上述任一项所述的方法。
[0020]依据本申请实施例，获取目标相机图像的第一图像特征，将目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征，提取网格单元的网格特征对应在特定视角下的第二图像特征，也即是将三维空间网格单元下的网格特征作为中间转换过程，实现了将相机图像的二维图像特征转换到特定视角下的二维图像特征，进一步根据特定视角下的第二图像特征，可以识别目标相机图像在三维空间中对应的目标对象，由此可见，本申请提供了一种新的对象识别方案，可以将图像特征切换到其他视角进行对象识别。如果该特定视角下图像尺寸更具有一致性，并且没有视角遮挡，例如采用鸟瞰视角，则可以更好地还原三维场景，加强了对不同相机和不同视角的鲁棒性，提高了单目三维检测的精度，并且可以广泛适用于不同内外参的相机，从而可以更有效地应用在基于三维场景在分析或定位等领域中。并且，上述方案的实现过程可以基于预先训练好的预测模型实现，可以保证整个过程的高效执行和实时输出。
[0021]据此构建三维模型，通过三维建模还原真实场景，结合增强现实系统或是虚实结合的虚本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：获取目标相机图像的第一图像特征；将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征；提取所述网格单元的网格特征对应在特定视角下的第二图像特征；根据所述特定视角下的第二图像特征，识别所述目标相机图像在三维空间中对应的目标对象。2.根据权利要求1所述的方法，其特征在于，所述将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征包括：按照三维空间中网格单元与相机图像的像素点之间的坐标映射关系，将所述目标相机图像的第一图像特征转换为三维空间中网格单元的网格特征。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将三维空间划分为多个立体的网格单元，创建三维空间的网格单元与相机图像的像素点之间的坐标映射关系。4.根据权利要求3所述的方法，其特征在于，所述创建三维空间的网格单元与相机图像的像素点之间的坐标映射关系包括：将所述三维空间的网格单元的中心点按照相机参数转换为二维的相机图像中像素点的坐标值；确定所述中心点的坐标值和像素点的坐标值之间的映射关系。5.根据权利要求1所述的方法，其特征在于，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征包括：提取所述网格单元的网格特征对应在鸟瞰视角下的第二图像特征。6.根据权利要求1所述的方法，其特征在于，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征包括：提取所述网格单元的网格特征在特定视角下的二维平面对应的图像特征作为第二图像特征。7.根据权利要求5或6所述的方法，其特征在于，所述提取所述网格单元的网格特征对应在特定视角下的第二图像特征还包括：对所述特定视角下的第二图像特征对应的特征图进行下采样处理，获得多个不同尺寸的采样结果；对采样结果进行双线性上采样，并对上采样结果进行融合处理，将合并后对应原始尺寸的特征图替换为第二图像特征。8.根据权利要求1所述的方法，其特征在于，所述方法基于目标模型实现，所述方法还包括：训练用于识别目标对象的预测模型。9.根据权利要求8所述的方法，其特征在于，所述训练用于识别目标对象的预测模型包括：使用标记有目标对象的识别结果的相机图像样本进行预测模型的训练，所述目标对象的识别结果采用三维框表征；在训练过程中，确定相机图像样本标记的三维框对应的第一图像特征和第二图像特
征，并确定所述第一图像特征和...
【专利技术属性】
技术研发人员：顾佳琦，吴博剑，樊鲁斌，周昌，黄建强，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。