【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据合成方法、装置、设备和存储介质。
技术介绍
1、数据合成，也叫数据仿真，在智能驾驶、机器人领域有着广泛的应用。近年来生成式模型的迅速发展，出现了性能优异的扩散模型(diffusion model)等，以及衍生的条件扩散模型、从文本生成图像、从文本生成视频等数据合成方法。生成式模型路线可以生成无限的仿真场景，真实感较高，具有很大的潜力。
2、现有技术中，可以使用生成式模型生成智能驾驶场景的合成数据，然而，因生成式模型是基于场景图像数据进行合成，合成数据与三维的真实空间存在差异，不能满足几何一致性，而在智能驾驶领域，对数据的几何一致性要求较高。
技术实现思路
1、本专利技术提供一种数据合成方法、装置、设备和存储介质，用以解决现有技术中不能满足几何一致性的缺陷，合成的数据满足几何一致性。
2、第一方面，本专利技术提供一种数据合成方法，该方法包括：
3、获取数据合成的控制条件和多相机视频数据；所述多相机视频数据中包含至少一个相机对应的视频数据，所述相机对应的视频数据中包含所述相机至少一个时刻对应的图像数据；
4、针对各个所述相机，根据所述数据合成的控制条件、所述相机至少一个时刻对应的图像数据中的各帧图像数据，以及预设的视频合成结束条件，确定所述相机对应的第一环境地图；所述相机对应的第一环境地图包含以下至少一项：点云、网格和隐式神经表达；
5、根据各所述相机对应的第一环境地图，确定第二环境地图
6、根据所述第二环境地图、各所述时刻的rgbd图像，以及各所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到目标点云数据。
7、可选地，所述针对各个所述相机，根据所述数据合成的控制条件、所述相机至少一个时刻对应的图像数据中的各帧图像数据，以及预设的视频合成结束条件，确定所述相机对应的第一环境地图，包括：
8、针对各个所述相机，根据所述数据合成的控制条件、所述各帧图像数据中的初始帧图像数据，确定所述相机对应的第三环境地图；
9、获取所述相机至少一个时刻对应的图像数据中的当前帧图像数据；
10、将所述相机对应的第三环境地图投影至所述相机当前帧图像数据中，得到所述相机在当前帧的第一渲染图像，并将所述相机在当前帧的第一渲染图像中动态物体的边界框去除，得到所述相机在当前帧的第二渲染图像；所述动态物体的边界框为根据所述数据合成的控制条件得到的，或者利用世界模型基于所述当前帧图像数据对应的上一时刻的图像数据预测得到的；
11、根据所述数据合成的控制条件、所述相机在当前帧的第二渲染图像和有效值的三维边界框，对所述相机对应的第三环境地图进行更新，得到所述相机对应的第四环境地图；
12、在确定满足预设的视频合成结束条件的情况下，根据所述相机对应的第四环境地图，确定所述相机对应的第一环境地图。
13、可选地，所述针对各个所述相机，根据所述数据合成的控制条件、所述各帧图像数据中的初始帧图像数据，确定所述相机对应的第三环境地图，包括：
14、针对各个所述相机，根据所述数据合成的控制条件、所述各帧图像数据中的初始帧图像数据，利用条件生成式模型生成所述相机在初始帧的rgb图像；
15、根据所述相机在初始帧的rgb图像，利用单目深度估计算法生成所述相机在初始帧的rgbd图像；
16、根据所述相机在初始帧的rgbd图像中的静态场景部分，得到所述相机对应的第三环境地图。
17、可选地，所述根据所述数据合成的控制条件、所述相机在当前帧的第二渲染图像和有效值的三维边界框，对所述相机对应的第三环境地图进行更新，得到所述相机对应的第四环境地图，包括：
18、根据所述数据合成的控制条件、所述相机在当前帧的第二渲染图像以及有效值的三维边界框，利用所述条件生成式模型生成所述相机在当前帧的rgbd图像；所述条件生成式模型为利用历史数据以及历史数据对应的rgbd图像对生成式模型进行训练得到的；
19、根据所述相机在当前帧的rgbd图像，对所述相机对应的第三环境地图进行更新，得到所述相机对应的第四环境地图。
20、可选地，所述根据所述第二环境地图、各所述时刻的rgbd图像，以及各所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到目标点云数据，包括：
21、针对各所述时刻，将所述第二环境地图与所述时刻的rgbd图像进行合并，得到所述时刻的第五环境地图；所述时刻的rgbd图像为基于各所述相机在各帧的rgbd图像得到的；
22、根据所述时刻的第五环境地图和所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到所述时刻的第一点云数据；
23、根据各所述时刻的第一点云数据，确定所述目标点云数据。
24、可选地，所述根据所述时刻的第五环境地图和所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到所述时刻的第一点云数据，包括：
25、根据所述时刻的第五环境地图和各所述射线的起始点和射线方向，确定各所述射线与所述时刻的第五环境地图的交点；
26、根据各所述射线与所述时刻的第五环境地图的交点，确定所述时刻的第一点云数据。
27、第二方面，本专利技术还提供一种数据合成装置，该装置包括：
28、获取模块，用于获取数据合成的控制条件和多相机视频数据；所述多相机视频数据中包含至少一个相机对应的视频数据，所述相机对应的视频数据中包含所述相机至少一个时刻对应的图像数据；
29、合成模块，用于针对各个所述相机，根据所述数据合成的控制条件、所述相机至少一个时刻对应的图像数据中的各帧图像数据，以及预设的视频合成结束条件，确定所述相机对应的第一环境地图；所述相机对应的第一环境地图包含以下至少一项：点云、网格和隐式神经表达；
30、根据各所述相机对应的第一环境地图，确定第二环境地图；
31、根据所述第二环境地图、各所述时刻的rgbd图像，以及各所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到目标点云数据。
32、第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据合成方法。
33、第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据合成方法。
34、第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据合成方法。
35、本专利技术提供的数据合成方法、装置、设备和存储介质，首先获取数据合成的控制条件和多相机视频数据，其中，多相机视频数据中包含至少一个相机对应的视频数据，相机对应的视频数据中包含相机至少一个时刻对应的图像数据；然后，针对本文档来自技高网...
【技术保护点】
1.一种数据合成方法，其特征在于，包括：
2.根据权利要求1所述的数据合成方法，其特征在于，所述针对各个所述相机，根据所述数据合成的控制条件、所述相机至少一个时刻对应的图像数据中的各帧图像数据，以及预设的视频合成结束条件，确定所述相机对应的第一环境地图，包括：
3.根据权利要求2所述的数据合成方法，其特征在于，所述针对各个所述相机，根据所述数据合成的控制条件、所述各帧图像数据中的初始帧图像数据，确定所述相机对应的第三环境地图，包括：
4.根据权利要求2所述的数据合成方法，其特征在于，所述根据所述数据合成的控制条件、所述相机在当前帧的第二渲染图像和有效值的三维边界框，对所述相机对应的第三环境地图进行更新，得到所述相机对应的第四环境地图，包括：
5.根据权利要求1-4任一项所述的数据合成方法，其特征在于，所述根据所述第二环境地图、各所述时刻的RGBD图像，以及各所述时刻激光雷达中至少一条射线的起始点和射线方向，合成得到目标点云数据，包括：
6.根据权利要求5所述的数据合成方法，其特征在于，所述根据所述时刻的第五环境地图和所述
7.一种数据合成装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述数据合成方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据合成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据合成方法。
...【技术特征摘要】
1.一种数据合成方法，其特征在于，包括：
2.根据权利要求1所述的数据合成方法，其特征在于，所述针对各个所述相机，根据所述数据合成的控制条件、所述相机至少一个时刻对应的图像数据中的各帧图像数据，以及预设的视频合成结束条件，确定所述相机对应的第一环境地图，包括：
3.根据权利要求2所述的数据合成方法，其特征在于，所述针对各个所述相机，根据所述数据合成的控制条件、所述各帧图像数据中的初始帧图像数据，确定所述相机对应的第三环境地图，包括：
4.根据权利要求2所述的数据合成方法，其特征在于，所述根据所述数据合成的控制条件、所述相机在当前帧的第二渲染图像和有效值的三维边界框，对所述相机对应的第三环境地图进行更新，得到所述相机对应的第四环境地图，包括：
5.根据权利要求1-4任一项所述的数据合成方法，其特征在于，所述根据所述第二环境地图、各所述时刻的rgbd图...
【专利技术属性】
技术研发人员：赵季，张子潮，刘光伟，潘亮亮，
申请(专利权)人：北京辉羲智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。