System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法、设备及存储介质技术_技高网

图像处理方法、设备及存储介质技术

技术编号:44519355 阅读:4 留言:0更新日期:2025-03-07 13:13
本申请公开一种图像处理方法、设备及存储介质,该方法包括:获取目标对象的输入图像序列,基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像;从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息;基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建。本申请解决现有基于单目相机的三维重建技术重建真实场景中的物体时,难以满足相应重建效益要求的技术问题。

【技术实现步骤摘要】

本申请涉及图像处理,尤其涉及一种图像处理方法、设备及存储介质


技术介绍

1、当前,计算机三维视觉在自动驾驶、虚拟现实/增强现实、人工智能机器人等方面的应用越来越广泛,而三维重建作为计算机三维视觉的核心任务之一,近年来受到越来越多的关注。

2、相较于依靠传感器的三维重建算法,基于单目相机的三维重建技术如基于隐式表示的三维重建方法在成本、运行及结构等方面呈现出众多优势,然而,现有的基于隐式表示的三维重建方法大多使用数据集中预标定的掩码图片进行训练,无法精确重建真实场景中的物体,且需要大量的人工数据预处理流程,难以满足当前基于单目相机的三维重建效益要求。


技术实现思路

1、有鉴于此,本申请实施例提供一种图像处理方法、设备及存储介质,旨在解决现有基于单目相机的三维重建技术重建真实场景中的物体时,难以满足相应重建效益要求的技术问题。

2、本申请实施例提供了一种图像处理方法,所述方法包括:

3、获取目标对象的输入图像序列,基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像;

4、从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息;

5、基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建。

6、本申请还提供一种图像处理装置,所述装置包括:

7、掩码生成模块,用于获取目标对象的输入图像序列,基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像;

8、关键帧选择及位姿标定模块,用于从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息;

9、三维重建模块,用于基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建。

10、本申请还提供一种图像处理设备,所述图像处理设备为实体节点设备,所述图像处理设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述图像处理方法的程序,所述图像处理方法的程序被处理器执行时可实现如上述所述图像处理方法的步骤。

11、为实现上述目的,还提供一种存储介质,所述存储介质上存储有图像处理程序,所述图像处理程序被处理器执行时实现上述任一所述的图像处理方法的步骤。

12、本申请提供一种图像处理方法、设备及存储介质,与相关技术中基于单目相机的三维重建技术重建真实场景中的物体时,难以满足相应重建效益要求相比,在本申请中,获取目标对象的输入图像序列,基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像;从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息;基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建。在本申请中,通过生成目标对象的掩码图像以及通过关键帧选择(包括对应视角的相机位姿信息)提取目标对象的重要信息,进而,实现对所述目标对象进行三维模型的重建,可以理解,上述过程不需要预标定掩码图片进行训练,避免需要大量的人工数据预处理流程,减少重建过程中的噪声和不必要的计算,且由于本申请中在不需要引入新的传感器,即可提取目标对象的重要信息,进而,实现三维模型的重建,这节约了成本,也即在本实施例中,提升了相应目标对象的重建效益。

本文档来自技高网
...

【技术保护点】

1.一种图像处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的图像处理方法,其特征在于,所述基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像的步骤,包括:

3.如权利要求2所述的图像处理方法,其特征在于,所述对所述初始掩码进行基于预设评估指标的筛选操作,得到所述目标对象对应的前景物体掩码的步骤,包括:

4.如权利要求2所述的图像处理方法,其特征在于,所述对所述初始掩码进行基于预设评估指标的筛选操作,得到所述目标对象对应的前景物体掩码的步骤,包括:

5.如权利要求1所述的图像处理方法,其特征在于,所述从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息的步骤,包括:

6.如权利要求1所述的图像处理方法,其特征在于,所述基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建的步骤,包括:

7.如权利要求6所述的图像处理方法,其特征在于,所述通过预设神经隐式表面的单目标模型,基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建的步骤,包括:

8.如权利要求7所述的图像处理方法,其特征在于,所述通过预设神经隐式表面的单目标模型,基于所述关键帧,所述掩码图像以及所述相机位姿信息,生成对应视角下的渲染图像的步骤,包括:

9.如权利要求8所述的图像处理方法,其特征在于,所述基于所述关键帧、所述掩码图像以及所述相机位姿信息以及预设可微行进四面体,预测关键帧对应的网格拓扑结构的步骤,包括:

10.一种图像处理设备,其特征在于,包括存储器,处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序,所述处理器执行所述图像处理程序时实现权利要求1至9中任一项所述的图像处理方法的步骤。

11.一种存储介质,其特征在于,所述存储介质上存储有图像处理程序,所述图像处理程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法的步骤。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的图像处理方法,其特征在于,所述基于所述输入图像序列的图像帧,确定所述目标对象的掩码图像的步骤,包括:

3.如权利要求2所述的图像处理方法,其特征在于,所述对所述初始掩码进行基于预设评估指标的筛选操作,得到所述目标对象对应的前景物体掩码的步骤,包括:

4.如权利要求2所述的图像处理方法,其特征在于,所述对所述初始掩码进行基于预设评估指标的筛选操作,得到所述目标对象对应的前景物体掩码的步骤,包括:

5.如权利要求1所述的图像处理方法,其特征在于,所述从所述输入图像序列中选择关键帧,并确定所述关键帧对应视角的相机位姿信息的步骤,包括:

6.如权利要求1所述的图像处理方法,其特征在于,所述基于所述关键帧,所述掩码图像以及所述相机位姿信息,对所述目标对象进行三维模型的重建的步骤,包括:

7.如权利要求6所述的图像处理方法,其特征在于,...

【专利技术属性】
技术研发人员:施文哲陆平乔秀全白博渊乔梁
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1