System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 自动驾驶仿真场景编辑方法、装置、电子设备及存储介质制造方法及图纸_技高网

自动驾驶仿真场景编辑方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42602906 阅读:6 留言:0更新日期:2024-09-03 18:13
本发明专利技术提供一种自动驾驶仿真场景编辑方法、装置、电子设备及存储介质,包括:获取与表征场景需求对应的自然语言描述;采用基于大语言模型的智能体协作框架对自然语言描述进行处理,得到编辑后的自动驾驶仿真场景;智能体协作框架根据自然语言描述确定场景编辑任务,以根据场景编辑任务对待编辑的仿真场景进行编辑,生成自动驾驶仿真场景。本发明专利技术相比于需要繁琐的手动设置才能创建或编辑仿真场景的方案,通过利用基于大语言模型的智能体协作框架对自然语言描述进行处理,仅仅通过自然语言命令就可以定义或编辑修改自动驾驶仿真场景,提高用户交互的效率和便捷性,可以快速地编辑创建得到更加多样化的满足用户复杂场景需求的自动驾驶仿真场景。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种自动驾驶仿真场景编辑方法、装置、电子设备及存储介质


技术介绍

1、自动驾驶技术的发展正处于一个快速演进的时期,不断推动着交通运输方式的变革。在自动驾驶系统的研发过程中,准确而又高效地模拟各种驾驶场景是至关重要的。这些仿真场景不仅可以用于验证和测试自动驾驶算法的性能,还能在不同的交通、天气和照明条件下评估系统的鲁棒性和安全性。然而,要创建既真实又多样化的仿真环境,背后的技术挑战是巨大的。

2、传统的自动驾驶场景仿真主要依赖于三类技术:图形引擎、图像生成和场景渲染。图形引擎是通过构建一个虚拟世界来模拟广泛的驾驶情景,但虚拟世界与现实世界之间往往存在显著的差异,这种差异会影响到算法在真实环境中的表现。图像生成方法是通过控制信号(如高清地图、草图布局等)生成逼真的场景图像,但在保持场景一致性方面存在挑战。场景渲染技术提供了在室外环境中建模汽车和静态街道背景的新途径,但往往需要用户在编辑过程中广泛参与,且难以支持用于数据扩展的外部数字资产。

3、因此,如何快速地编辑创建多样化的自动驾驶仿真场景是目前亟待解决的问题。


技术实现思路

1、针对现有技术存在的问题,本专利技术提供一种自动驾驶仿真场景编辑方法,所述方法包括:

2、获取与表征场景需求对应的自然语言描述;

3、采用基于大语言模型的智能体协作框架对所述自然语言描述进行处理,得到编辑后的自动驾驶仿真场景;

4、其中,所述智能体协作框架根据所述自然语言描述确定场景编辑任务,以根据场景编辑任务对待编辑的自动驾驶仿真场景进行编辑,生成自动驾驶仿真场景。

5、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,所述智能体协作框架包括管理智能体和至少一个场景编辑智能体,每个所述场景编辑智能体各自配置有大语言模型,所述大语言模型为预先训练好的局部过滤的自注意力模型;所述采用基于大语言模型的智能体协作框架对所述自然语言描述进行处理,得到编辑后的自动驾驶仿真场景,包括:

6、采用管理智能体对所述自然语言描述进行解耦,得到采用自然语言表示的至少一个场景编辑任务,并将所述至少一个场景编辑任务分别分配到对应的场景编辑智能体;

7、采用所述场景编辑智能体执行所述管理智能体分配的场景编辑任务,得到编辑后的自动驾驶仿真场景;其中,所述场景编辑智能体中配置的局部过滤的自注意力模型用于理解所述场景编辑任务。

8、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,所述采用所述场景编辑智能体执行所述管理智能体分配的场景编辑任务,得到编辑后的自动驾驶仿真场景,包括:

9、采用至少一个场景编辑智能体执行分配的场景编辑任务;

10、将各个场景编辑智能体对待编辑的自动驾驶仿真场景的任务执行结果进行合成,得到编辑后的自动驾驶仿真场景;

11、其中,所述场景编辑智能体包括视角调整智能体、背景渲染智能体、前景渲染智能体、车辆运动智能体中的至少一种。

12、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,所述场景编辑智能体包括背景渲染智能体,所述背景渲染智能体还配置有预先训练好的多相机神经辐射场模型,所述管理智能体分配的背景渲染任务通过以下方式执行:

13、获取待编辑的自动驾驶仿真场景的多相机视角图像;

14、将所述多相机视角图像输入背景渲染智能体配置的预先训练好的多相机神经辐射场模型,得到全视角下的图像;

15、根据所述全视角下的图像,对待编辑的自动驾驶仿真场景进行背景渲染。

16、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,所述场景编辑智能体包括前景渲染智能体,所述前景渲染智能体还配置有预先训练好的多相机照明估计模型,所述管理智能体分配的前景渲染任务通过以下方式执行:

17、获取待编辑的自动驾驶仿真场景的多相机视角图像;

18、将所述多相机视角图像输入预先训练好的多相机照明估计模型,得到场景照明信息;

19、根据所述场景照明信息,对所述待编辑的自动驾驶仿真场景进行前景渲染。

20、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,在所述获取待编辑的自动驾驶仿真场景的多相机视角图像之后,还包括:

21、采用统一的空间坐标系,对所述多相机视角图像进行校准处理,得到校准后的相机姿态下的图像。

22、根据本专利技术提供的一种自动驾驶仿真场景编辑方法,在所述得到编辑后的自动驾驶仿真场景之后,还包括:

23、获取针对编辑后的自动驾驶仿真场景输入的场景修改描述;

24、采用所述智能体协作框架,根据所述场景修改描述确定场景修改任务,以根据所述场景修改任务对所述编辑后的自动驾驶仿真场景进行多轮编辑迭代,得到最终的自动驾驶仿真场景。

25、本专利技术还提供一种自动驾驶仿真场景编辑装置,所述装置包括:

26、自然语言描述获取模块,用于获取与表征场景需求对应的自然语言描述;

27、场景编辑模块,用于采用基于大语言模型的智能体协作框架对所述自然语言描述进行处理,得到编辑后的自动驾驶仿真场景;

28、其中,所述智能体协作框架根据所述自然语言描述确定场景编辑任务,以根据场景编辑任务对待编辑的自动驾驶仿真场景进行编辑,生成自动驾驶仿真场景。

29、本专利技术还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一项所述的自动驾驶仿真场景编辑方法的步骤。

30、本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的自动驾驶仿真场景编辑方法的步骤。

31、本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述自动驾驶仿真场景编辑方法的步骤。

32、本专利技术提供的自动驾驶仿真场景编辑方法、装置、电子设备及存储介质,通过获取与表征场景需求对应的自然语言描述,采用基于大语言模型的智能体协作框架,根据自然语言描述确定场景编辑任务,以根据场景编辑任务对待编辑的自动驾驶仿真场景进行编辑,生成自动驾驶仿真场景,相比于传统的仿真场景编辑方案需要复杂的编程或者繁琐的手动设置才能创建或编辑修改仿真场景,导致工作效率降低、用户操作难度增加的问题,本专利技术利用基于大语言模型的智能体协作框架对自然语言描述进行处理,仅仅通过自然语言命令就可以定义或编辑修改自动驾驶仿真场景,提高了用户交互的效率和便捷性,可以快速地编辑创建得到更加多样化的满足用户复杂场景需求的自动驾驶仿真场景。

本文档来自技高网...

【技术保护点】

1.一种自动驾驶仿真场景编辑方法,其特征在于,所述方法包括:

2.根据权利要求1所述的自动驾驶仿真场景编辑方法,其特征在于,所述智能体协作框架包括管理智能体和至少一个场景编辑智能体,每个所述场景编辑智能体各自配置有大语言模型,所述大语言模型为预先训练好的局部过滤的自注意力模型;所述采用基于大语言模型的智能体协作框架对所述自然语言描述进行处理,得到编辑后的自动驾驶仿真场景,包括:

3.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在于,所述采用所述场景编辑智能体执行所述管理智能体分配的场景编辑任务,得到编辑后的自动驾驶仿真场景,包括:

4.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在于,所述场景编辑智能体包括背景渲染智能体,所述背景渲染智能体还配置有预先训练好的多相机神经辐射场模型,所述管理智能体分配的背景渲染任务通过以下方式执行:

5.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在于,所述场景编辑智能体包括前景渲染智能体,所述前景渲染智能体还配置有预先训练好的多相机照明估计模型,所述管理智能体分配的前景渲染任务通过以下方式执行:

6.根据权利要求4或5所述的自动驾驶仿真场景编辑方法,其特征在于,在所述获取待编辑的自动驾驶仿真场景的多相机视角图像之后,还包括:

7.根据权利要求1所述的自动驾驶仿真场景编辑方法,其特征在于,在所述得到编辑后的自动驾驶仿真场景之后,还包括:

8.一种自动驾驶仿真场景编辑装置,其特征在于,所述装置包括:

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的自动驾驶仿真场景编辑方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的自动驾驶仿真场景编辑方法。

...

【技术特征摘要】

1.一种自动驾驶仿真场景编辑方法,其特征在于,所述方法包括:

2.根据权利要求1所述的自动驾驶仿真场景编辑方法,其特征在于,所述智能体协作框架包括管理智能体和至少一个场景编辑智能体,每个所述场景编辑智能体各自配置有大语言模型,所述大语言模型为预先训练好的局部过滤的自注意力模型;所述采用基于大语言模型的智能体协作框架对所述自然语言描述进行处理,得到编辑后的自动驾驶仿真场景,包括:

3.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在于,所述采用所述场景编辑智能体执行所述管理智能体分配的场景编辑任务,得到编辑后的自动驾驶仿真场景,包括:

4.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在于,所述场景编辑智能体包括背景渲染智能体,所述背景渲染智能体还配置有预先训练好的多相机神经辐射场模型,所述管理智能体分配的背景渲染任务通过以下方式执行:

5.根据权利要求2所述的自动驾驶仿真场景编辑方法,其特征在...

【专利技术属性】
技术研发人员:潘文硕袁明明王涛王凯唐知波
申请(专利权)人:浪潮通信信息系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1