System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法、装置及相关设备制造方法及图纸_技高网

图像处理方法、装置及相关设备制造方法及图纸

技术编号:44114727 阅读:13 留言:0更新日期:2025-01-24 22:38
本申请实施例公开了一种图像处理方法、装置及相关设备,属于计算机视觉技术领域。在本申请实施例中,通过样本数据集同时形成可视化的对象几何模型以及后续可以隐式渲染的对象NeRF模型。用户通过可视化的对象几何模型对待仿真的对象的显示属性比如显示姿态进行编辑,从而实现视觉仿真的高可编辑性。同时在渲染视觉仿真结果时可以直接通过对象NeRF模型来渲染图像,从而实现视觉仿真结果的高真实度且渲染过程资源消耗低。

【技术实现步骤摘要】

本申请实施例涉及计算机视觉,特别涉及一种图像处理方法、装置及相关设备


技术介绍

1、视觉仿真技术中的图像处理可以理解为:通过采集的样本图像等样本数据生成接近真实场景的虚拟场景图像。比如,在自动驾驶领域,通过视觉仿真技术可以生成用于模拟自动驾驶车辆周围环境的虚拟场景图像,从而为自动驾驶车辆的自动驾驶算法提供更多数据。

2、相关技术中,为了能够在视觉仿真过程中对前景进行编辑,图像中的前景使用计算机图形学(computer graphics,cg)技术进行显式渲染。但是通过cg技术显示渲染前景的过程需要依赖专业人力和工具软件的手工操作,且需要耗费大量时间和硬件资源来提高前景的真实度。


技术实现思路

1、本申请实施例提供了一种图像处理方法、装置及相关设备,既能实现视觉仿真过程的高可编辑性还能在保证视觉仿真结果高真实度的情况下降低资源消耗。所述技术方案如下:

2、第一方面,提供了一种图像处理方法。在该方法中,获取样本数据集,样本数据集包括多个第一样本数据,多个第一样本数据用于指示第一对象的多个视角成像信息;基于多个第一样本数据确定第一对象神经辐射场nerf模型和第一对象几何模型,第一对象nerf模型用于预测第一对象的任意视角图像,第一对象几何模型为第一对象的三维模型;在前端交互界面显示第一对象几何模型;响应于用户在前端交互界面的编辑操作,确定第一对象几何模型的显示属性和渲染视角位姿,显示属性包括显示位姿;基于第一对象几何模型的显示属性、渲染视角位姿和第一对象nerf模型确定至少一个第一对象图像。

3、在本申请实施例中,在本申请实施例中,通过样本数据集同时形成可视化的对象几何模型以及后续可以隐式渲染的对象nerf模型。用户通过可视化的对象几何模型对待仿真的对象的显示属性比如显示姿态进行编辑,从而实现视觉仿真的高可编辑性。同时在渲染视觉仿真结果时可以直接通过对象nerf模型来渲染图像,从而实现视觉仿真结果的高真实度且渲染过程资源消耗低。

4、基于第一方面提供的方法,在一种可能的实现方式中,基于第一对象几何模型的显示属性、渲染视角位姿和第一对象nerf模型确定至少一个第一对象图像的实现过程可以为:基于第一对象几何模型的显示属性以及渲染视角位姿,确定第一坐标系下的第一渲染位姿,第一坐标系为第一对象几何模型的物体坐标系,渲染视角位姿是世界坐标系下的位姿;基于第一渲染位姿和第一对象的nerf模型,确定至少一个第一对象图像。

5、nerf模型渲染图像所需的视角位姿是在待渲染的几何模型的物体坐标系下的视角位姿,而用户编辑的视角位姿通常是在世界坐标系下的视角位姿,因此在获取到用户编辑的渲染视角位姿后,需要将渲染视角位姿转换为第一坐标系下的第一渲染位姿,也即转换为与第一对象nerf模型对齐的第一渲染位姿。

6、基于第一方面提供的方法,在一种可能的实现方式中,渲染视角位姿包括多个视角位姿,第一渲染位姿包括多个渲染位姿。这种场景下,基于第一渲染位姿和第一对象的nerf模型,确定至少一个第一对象图像的实现过程可以为:基于多个渲染位姿,确定第一渲染轨迹;基于第一渲染轨迹和第一对象的nerf模型,确定多个第一对象图像。

7、通过上述方式,用户可以仅仅编辑几个关键的视角位姿,基于用户编辑的几个视角位姿可以形成一个渲染轨迹。

8、基于第一方面提供的方法,在一种可能的实现方式中,基于第一渲染位姿,确定第一渲染轨迹的实现过程可以为:基于多个渲染位姿,通过插值算法确定第一渲染轨迹。

9、在本申请实施例中,可以通过插值算法得到更多的渲染位姿,以形成渲染轨迹。

10、基于第一方面提供的方法,在一种可能的实现方式中,样本数据集还包括多个第二样本数据,多个第二样本数据用于指示第二对象的多个视角成像信息。这种场景下,在该方法中,还可以基于多个第二样本数据确定第二对象nerf模型和第二对象几何模型,第二对象nerf模型用于预测第二对象的任意视角图像,第二对象几何模型为第二对象的三维模型;在前端交互界面显示第二对象几何模型;响应于用户在前端交互界面的编辑操作,确定第二对象的显示属性;基于第二对象的显示属性、渲染视角位姿和第二对象的nerf模型,确定至少一个第二对象图像;将至少一个第一对象图像和至少一个第二对象图像融合,得到全景仿真数据。

11、在本申请实施例中,通过上述方式还可以对包括多个对象的场景进行视觉仿真。

12、基于第一方面提供的方法,在一种可能的实现方式中,至少一个第一对象图像与至少一个第二对象图像一一对应于至少一个渲染视角位姿中的同一渲染视角位姿。这种场景下,将至少一个第一对象图像和至少一个第二对象图像融合,得到全景仿真数据的实现过程可以为:从至少一个第一对象图像和至少一个第二对象图像中获取第一对象图像和与第一对象图像对应的第二对象图像,第一对象图像包括第一对象红绿蓝rgb图像和第一对象深度图像,第二对象图像包括第二对象rgb图像和第二对象深度图像;基于第一对象深度图像和第二对象深度图像,将第一对象rgb图像和第二对象rgb图像融合为全景rgb图像。

13、基于第一对象深度图像和第二对象深度图像可以确定相同视点处的第一对象和第二对象之间的遮挡关系,进而基于该遮挡关系来确定全景rgb图像中该视点处显示的像素值为第一对象rgb图像和第二对象景rgb图像中哪一者,提高了视觉仿真结果的真实度。

14、基于第一方面提供的方法,在一种可能的实现方式中,第一对象为前景对象,第二对象为背景对象。这种场景下,还可以接收用户配置的对象种类信息,对象种类信息用于指示第一对象为前景对象,第二对象为背景对象。

15、在本申请实施例中,可以由用户来编辑哪些对象为前景对象哪些对象为背景对象。

16、基于第一方面提供的方法,在一种可能的实现方式中,显示属性还包括显示大小。这种场景下,响应于用户在前端交互界面的编辑操作,确定第一对象几何模型的显示属性的实现过程可以为:响应于用户对于第一对象几何模型的移动和/或旋转操作,确定第一对象几何模型的显示位姿;响应于用户对于第一对象几何模型的缩放操作,确定第一对象几何模型的显示大小。

17、在本申请实施例中,用户可以在前端交互界面上对第一对象几何模型进行移动和/或旋转操作,从而实现对第一对象几何模型的显示位姿的编辑。用户还可以在前端交互界面上对第一对象几何模型进行缩放操作,从而实现对第一对象几何模型的显示大小的编辑。

18、基于第一方面提供的方法,在一种可能的实现方式中,响应于用户在前端交互界面的编辑操作,确定渲染视角位姿的实现过程可以为:在前端交互界面显示虚拟渲染相机;响应于用户对于虚拟渲染相机的移动和/或旋转操作,确定渲染视角位姿。

19、在本申请实施例中,用户可以在前端交互界面上对虚拟渲染相机进行移动和/或旋转操作,从而实现对渲染视角位姿的编辑。

20、基于第一方面提供的方法,在一种可能的实现方式中,第一对象几本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述基于所述第一对象几何模型的显示属性、所述渲染视角位姿和所述第一对象NeRF模型确定至少一个第一对象图像,包括:

3.如权利要求2所述的方法,其特征在于,所述渲染视角位姿包括多个视角位姿,所述第一渲染位姿包括多个渲染位姿;

4.如权利要求3所述的方法,其特征在于,所述基于所述第一渲染位姿,确定第一渲染轨迹,包括:

5.如权利要求1至4任一项所述的方法,其特征在于,所述样本数据集还包括多个第二样本数据,所述多个第二样本数据用于指示第二对象的多个视角成像信息;

6.如权利要求5所述的方法,其特征在于,所述至少一个第一对象图像与所述至少一个第二对象图像一一对应于至少一个渲染视角位姿中的同一渲染视角位姿;

7.如权利要求5或6所述的方法,其特征在于,所述第一对象为前景对象,所述第二对象为背景对象;

8.如权利要求1-7任一所述的方法,其特征在于,所述显示属性还包括显示大小;

9.如权利要求1-8任一所述的方法,其特征在于,所述响应于用户在所述前端交互界面的编辑操作,确定渲染视角位姿,包括:

10.如权利要求1-9任一所述的方法,其特征在于,所述第一对象几何模型包括第一对象网格模型。

11.一种图像处理装置,其特征在于,所述装置包括:

12.如权利要求11所述的装置,其特征在于,所述第三确定模块用于:

13.如权利要求12所述的装置,其特征在于,所述渲染视角位姿包括多个视角位姿,所述第一渲染位姿包括多个渲染位姿;

14.如权利要求13所述的装置,其特征在于,所述第三确定模块用于:

15.如权利要求11至14任一所述的装置,其特征在于,所述样本数据集还包括多个第二样本数据,所述多个第二样本数据用于指示第二对象的多个视角成像信息;

16.如权利要求15所述的装置,其特征在于,所述至少一个第一对象图像与所述至少一个第二对象图像一一对应于至少一个渲染视角位姿中的同一渲染视角位姿;

17.如权利要求15或16所述的装置,其特征在于,所述第一对象为前景对象,所述第二对象为背景对象;

18.如权利要求11-17任一所述的装置,其特征在于,所述显示属性还包括显示大小;

19.如权利要求11-18任一所述的装置,其特征在于,所述第二确定模块用于:

20.如权利要求11-19任一所述的装置,其特征在于,所述第一对象几何模型包括第一对象网格模型。

21.一种计算设备集群,其特征在于,包括至少一个计算设备,每个计算设备包括处理器和存储器;

22.一种包含指令的计算机程序产品,其特征在于,当所述指令被计算设备集群运行时,使得所述计算设备集群执行如权利要求的1-10任一所述的方法。

23.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备集群执行时,所述计算设备集群执行如权利要求1-10任一所述的方法。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述基于所述第一对象几何模型的显示属性、所述渲染视角位姿和所述第一对象nerf模型确定至少一个第一对象图像,包括:

3.如权利要求2所述的方法,其特征在于,所述渲染视角位姿包括多个视角位姿,所述第一渲染位姿包括多个渲染位姿;

4.如权利要求3所述的方法,其特征在于,所述基于所述第一渲染位姿,确定第一渲染轨迹,包括:

5.如权利要求1至4任一项所述的方法,其特征在于,所述样本数据集还包括多个第二样本数据,所述多个第二样本数据用于指示第二对象的多个视角成像信息;

6.如权利要求5所述的方法,其特征在于,所述至少一个第一对象图像与所述至少一个第二对象图像一一对应于至少一个渲染视角位姿中的同一渲染视角位姿;

7.如权利要求5或6所述的方法,其特征在于,所述第一对象为前景对象,所述第二对象为背景对象;

8.如权利要求1-7任一所述的方法,其特征在于,所述显示属性还包括显示大小;

9.如权利要求1-8任一所述的方法,其特征在于,所述响应于用户在所述前端交互界面的编辑操作,确定渲染视角位姿,包括:

10.如权利要求1-9任一所述的方法,其特征在于,所述第一对象几何模型包括第一对象网格模型。

11.一种图像处理装置,其特征在于,所述装置包括:

12.如权利要求11所述的装置,其特征在于,所述第三确定模块用于:

13...

【专利技术属性】
技术研发人员:赵冠一马立永金鑫
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1