【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种图像生成方法、装置、电子设备及存储介质。
技术介绍
1、随着计算机技术和相机技术的发展，在几乎所有的智能驾驶感知系统中，相机都是其中最为关键的传感器之一，车辆依靠于深度学习算法为车辆提供对周围环境的视觉感知能力。摄像机可以捕捉到车辆周围的图像信息，通过图像处理技术，智能驾驶系统可以识别道路状况、交通标志、行人和其他车辆等，从而实现对环境的感知。当前的智能感知技术的底层技术为数据驱动的深度学习，通过喂给模型大量的训练数据辅助模型实现对车辆、行人和障碍物等要素的识别。基于深度学习的感知算法虽然在许多领域取得了显著的成果，它通常需要大量的标注数据来训练模型。然而部分场景下获取大规模、高质量和多样化的数据非常困难，并且深度学习模型是“黑箱”模型，很难从外部解释其内部决策过程，这导致在模型出现bad case时无法通过理论来寻找解决方案，只能通过采集对应场景的数据来解决，因此，如何针对性地生成特定场景下受控的图像，比如极端情况corner case数据等成了亟需解决的问题。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种图像生成方法、装置、电子设备及存储介质。
2、第一方面，本申请提供了一种图像生成方法，所述方法包括：
3、获取场景图像，以及待添加对象的属性信息；
4、从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素；
5、根据所述属性信息和所述场景图像
6、可选地，从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素之前，所述方法还包括：获取所述环境要素感知模型；
7、其中，所述环境要素感知模型的获取过程包括：
8、获取初始感知模型；其中，所述初始感知模型预先配置白名单；所述白名单包括多个环境要素，以及每个所述环境要素与目标对象的对应关系；
9、确定安装相机到虚拟相机的透视变换矩阵；
10、将所述安装相机采集的多视角输入图像根据所述透视变换矩阵进行转换，得到所述虚拟相机的多视角图像；
11、通过所述初始感知模型对所述多视角图像进行环境要素感知，得到第一环境要素；
12、若所述第一环境要素不属于所述白名单，将所述第一环境要素以及所述第一环境要素与第一目标对象的对应关系加入到所述白名单；
13、重复所述通过所述初始感知模型对所述多视角图像进行环境要素感知，得到第一环境要素的步骤，直到所述第一环境要素都属于所述白名单，将当前的所述初始感知模型作为所述环境要素感知模型。
14、可选地，确定安装相机到虚拟相机的透视变换矩阵，包括：
15、获取安装相机的第一外参矩阵和第一内参矩阵，以及获取虚拟相机的第二外参矩阵和第二内参矩阵；所述安装相机包括多个，且所述虚拟相机的数量与所述安装相机的数量相同；
16、根据所述第一外参矩阵、所述第一内参矩阵、所述第二外参矩阵和所述第二内参矩阵确定由安装相机坐标系到虚拟相机坐标系的透视变换矩阵。
17、可选地，根据所述属性信息和所述场景图像生成包含所述目标环境要素的目标图像，包括：
18、将所述场景图像根据所述透视变换矩阵进行转换，得到所述虚拟相机的多视角虚拟场景图像；
19、根据所述多视角虚拟场景图像、所述目标环境要素和所述属性信息，利用预先训练的卷积神经网络模型生成所述目标图像。
20、可选地，所述卷积神经网络模型的训练过程包括：
21、获取训练用的样本图像集合；其中，所述样本图像集合包括多组目标样本，所述目标样本包括第一图像和第二图像；所述第一图像和所述第二图像的差分图像包括至少一个环境要素；所述第二图像包括所述环境要素；
22、分别对所述样本图像集合中的每组目标样本执行以下训练过程：
23、获取初始网络模型的初始参数；
24、对所述环境要素进行自注意力处理，得到所述环境要素的加权表示；
25、根据所述加权表示和所述初始网络模型的初始参数，对所述第一图像进行所述环境要素的多尺度特征融合，得到包括所述环境要素的第三图像；
26、计算所述第三图像与所述第二图像的损失函数，优化所述初始参数后，从所述样本图像集合中获取下一组目标样本，直至所述损失函数趋于稳定时，将所述初始网络模型作为最终的所述卷积神经网络模型。
27、可选地，将所述场景图像根据所述透视变换矩阵进行转换，得到所述虚拟相机的多视角虚拟场景图像，包括：
28、将所述场景图像根据所述透视变换矩阵进行转换，得到所述虚拟相机的多视角虚拟图像；
29、获取预设区域；
30、将所述多视角虚拟图像中的越界元素剔除；其中，所述越界元素不属于所述预设区域；
31、将属于所述预设区域的环境要素进行坐标归一化，得到所述多视角虚拟场景图像。
32、可选地，所述白名单还包括所述环境要素的类别及位置关系；通过所述初始感知模型对所述多视角图像进行环境要素感知，得到第一环境要素之后，所述方法还包括：
33、从所述白名单中获取所述第一环境要素的类别和位置关系；
34、获取所述第一环境要素的词嵌入；
35、将所述类别、所述位置关系以及所述词嵌入输出到所述卷积神经网络模型。
36、第二方面，本申请提供了一种图像生成装置，所述装置包括：
37、获取模块，用于获取场景图像，以及待添加对象的属性信息；
38、确定模块，用于从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素；
39、生成模块，用于根据所述属性信息和所述场景图像生成包含所述目标环境要素的目标图像。
40、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
41、存储器，用于存放计算机程序；
42、处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的图像生成方法的步骤。
43、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的图像生成方法的步骤。
44、本申请的有益效果：
45、本申请实施例提供的该方法，获取场景图像，以及待添加对象的属性信息；从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素；根据所述属性信息和所述场景图像生成包含所述目标环境要素的目标图像。该方法，可从预先设计的环境要素感知模型中确定待添加对象对应的目标环境要素，从而可以根据该目标环境要素的属性信息，生成将目标环境要素加入到场景图像的目标图像，由于可针对性的生成符合预期的图像，提本文档来自技高网...
【技术保护点】
1.一种图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素之前，所述方法还包括：获取所述环境要素感知模型；
3.根据权利要求2所述的方法，其特征在于，确定安装相机到虚拟相机的透视变换矩阵，包括：
4.根据权利要求2所述的方法，其特征在于，根据所述属性信息和所述场景图像生成包含所述目标环境要素的目标图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述卷积神经网络模型的训练过程包括：
6.根据权利要求4所述的方法，其特征在于，将所述场景图像根据所述透视变换矩阵进行转换，得到所述虚拟相机的多视角虚拟场景图像，包括：
7.根据权利要求4所述的方法，其特征在于，所述白名单还包括所述环境要素的类别及位置关系；通过所述初始感知模型对所述多视角图像进行环境要素感知，得到第一环境要素之后，所述方法还包括：
8.一种图像生成装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括处理器
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，从预先设计的环境要素感知模型中，确定所述待添加对象对应的目标环境要素之前，所述方法还包括：获取所述环境要素感知模型；
3.根据权利要求2所述的方法，其特征在于，确定安装相机到虚拟相机的透视变换矩阵，包括：
4.根据权利要求2所述的方法，其特征在于，根据所述属性信息和所述场景图像生成包含所述目标环境要素的目标图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述卷积神经网络模型的训练过程包括：
6.根据权利要求4所述的方法，其特征在于，将所述场景图像根据所述透视变...
【专利技术属性】
技术研发人员：董伟，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。