一种训练数据的生成方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种训练数据的生成方法、装置、电子设备和存储介质。所述方法包括：基于图形引擎加载素材模型和基础场景，得到虚拟场景；根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；基于场景图片所包含的素材模型，生成图片标注信息；将一幅场景图片及其图片标注信息作为一条训练数据。其有益效果在于，可以根据图形引擎、虚拟摄像机，在虚拟场景中可以得到场景图片，并可以结合图片标注信息方便快捷的生成训练数据，丰富了训练数据的生成方法，降低了训练数据生成成本，有效解决了训练数据样本不足的问题，对于模型训练效果有良好的辅助作用。

A method, device, electronic equipment and storage medium for training data generation

【技术实现步骤摘要】
一种训练数据的生成方法、装置、电子设备和存储介质
本申请涉及深度学习领域，具体涉及一种训练数据的生成方法、装置、电子设备和存储介质。
技术介绍
自动驾驶场景对道路障碍物检测识别的准确性具有较高的要求，为了高效准确的障碍物进行检测识别，现有技术中通常利用深度学习技术来实现，但是深度学习技术较为依赖训练数据，因此，当训练数据集越完整丰富、质量越高时，训练出来的模型在不同测试集上的精度，即泛化性能就会相应越好。但在实践中，训练数据集资源往往需要获得国家授予的采图资质然后开展频繁的采集活动，样本获取成本高，效率较低，而且存在在某些特定场景下难以获取的问题。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种训练数据的生成方法、装置、电子设备和存储介质。依据本申请的一个方面，提供了一种训练数据的生成方法，包括：基于图形引擎加载素材模型和基础场景，得到虚拟场景；所述素材模型对应于自动驾驶场景中的待关注对象；根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；基于场景图片所包含的素材模型，生成图片标注信息；将一幅场景图片及其图片标注信息作为一条训练数据。可选地，所述素材模型、所述基础场景、所述指定素材模型和所述虚拟摄像机中的至少一项是根据场景配置信息确定的，所述场景配置信息包括如下至少一种：素材模型的类别，素材模型的个数，素材模型的部署位置，素材模型的移动参数，基础场景的类别，虚拟摄像机的视点位置，场景图片的采集频率。可选地，所述基于场景图片所包含的素材模型，生成图片标注信息包括：根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型在世界坐标系各轴向上的轴向顶点坐标；根据确定的轴向顶点坐标生成相应素材模型的三维包围盒。可选地，所述素材模型包括坐标信息完整的标准模型，以及坐标信息不完整的非标准模型；所述根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型在世界坐标系各轴向上的轴向顶点坐标包括：对于标准模型，根据其包含的坐标信息直接确定在世界坐标系各轴向上的轴向顶点坐标；对于非标准模型，利用主成分分析法对非标准模型的三维顶点坐标集合进行分析，确定三个主方向和质心；根据确定的主方向和质心非标准模型的三维顶点坐标集合进行坐标变换，根据变换后的坐标确定在世界坐标系各轴向上的轴向顶点坐标。可选地，所述基于场景图片所包含的素材模型，生成图片标注信息包括：根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型的三维坐标集合；基于世界坐标系与虚拟摄像机坐标系之间的成像投影关系，将所包含的素材模型的三维坐标集合中的各元素投影到图片坐标系上，得到所包含的素材模型的二维坐标集合；根据二维坐标集合确定相应素材模型的二维包围框。可选地，该方法还包括：在场景图片中加入二维图像特征，所述二维图像特征包括如下的至少一种：运动模糊特征，亮度特征，摄像头畸变特征，图像压缩特征。可选地，所述在场景图片中加入二维图像特征包括：使加入二维图像特征后的场景图片的特征分布与真实场景图片的特征分布之间的KL散度小于预设阈值。依据本申请的另一方面，提供了一种训练数据的生成装置，包括：加载单元，用于基于图形引擎加载素材模型和基础场景，得到虚拟场景；所述素材模型对应于自动驾驶场景中的待关注对象；拍摄单元，用于根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；标注单元，用于基于场景图片所包含的素材模型，生成图片标注信息；训练单元，用于将一幅场景图片及其图片标注信息作为一条训练数据。可选地，所述素材模型、所述基础场景、所述指定素材模型和所述虚拟摄像机中的至少一项是根据场景配置信息确定的，所述场景配置信息包括如下至少一种：素材模型的类别，素材模型的个数，素材模型的部署位置，素材模型的移动参数，基础场景的类别，虚拟摄像机的视点位置，场景图片的采集频率。可选地，所述标注单元，用于根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型在世界坐标系各轴向上的轴向顶点坐标；根据确定的轴向顶点坐标生成相应素材模型的三维包围盒。可选地，所述素材模型包括坐标信息完整的标准模型，以及坐标信息不完整的非标准模型；所述标注单元，用于对于标准模型，根据其包含的坐标信息直接确定在世界坐标系各轴向上的轴向顶点坐标；对于非标准模型，利用主成分分析法对非标准模型的三维顶点坐标集合进行分析，确定三个主方向和质心；根据确定的主方向和质心非标准模型的三维顶点坐标集合进行坐标变换，根据变换后的坐标确定在世界坐标系各轴向上的轴向顶点坐标。可选地，所述标注单元，用于根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型的三维坐标集合；基于世界坐标系与虚拟摄像机坐标系之间的成像投影关系，将所包含的素材模型的三维坐标集合中的各元素投影到图片坐标系上，得到所包含的素材模型的二维坐标集合；根据二维坐标集合确定相应素材模型的二维包围框。可选地，该装置还包括：处理单元，用于在场景图片中加入二维图像特征，所述二维图像特征包括如下的至少一种：运动模糊特征，亮度特征，摄像头畸变特征，图像压缩特征。可选地，所述处理单元，用于使加入二维图像特征后的场景图片的特征分布与真实场景图片的特征分布之间的KL散度小于预设阈值。依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。由上述可知，本申请的技术方案，基于图形引擎加载素材模型和基础场景，得到虚拟场景；根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；基于场景图片所包含的素材模型，生成图片标注信息；将每张场景图片及其图片标注信息分别作为一条训练数据。其有益效果在于，可以根据图形引擎、虚拟摄像机，在虚拟场景中可以得到场景图片，并可以结合图片标注信息方便快捷的生成训练数据，丰富了训练数据的生成方法，降低了训练数据生成成本，有效解决了训练数据样本不足的问题，对于模型训练效果有良好的辅助作用。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的本文档来自技高网...

【技术保护点】
1.一种训练数据的生成方法，包括：/n基于图形引擎加载素材模型和基础场景，得到虚拟场景；所述素材模型对应于自动驾驶场景中的待关注对象；/n根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；/n基于场景图片所包含的素材模型，生成图片标注信息；/n将一幅场景图片及其图片标注信息作为一条训练数据。/n

【技术特征摘要】
1.一种训练数据的生成方法，包括：
基于图形引擎加载素材模型和基础场景，得到虚拟场景；所述素材模型对应于自动驾驶场景中的待关注对象；
根据设置于指定素材模型上的虚拟摄像机进行场景拍摄，得到场景图片；
基于场景图片所包含的素材模型，生成图片标注信息；
将一幅场景图片及其图片标注信息作为一条训练数据。


2.如权利要求1所述的方法，其特征在于，所述素材模型、所述基础场景、所述指定素材模型和所述虚拟摄像机中的至少一项是根据场景配置信息确定的，所述场景配置信息包括如下至少一种：素材模型的类别，素材模型的个数，素材模型的部署位置，素材模型的移动参数，基础场景的类别，虚拟摄像机的视点位置，场景图片的采集频率。


3.如权利要求2所述的方法，其特征在于，所述基于场景图片所包含的素材模型，生成图片标注信息包括：
根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型在世界坐标系各轴向上的轴向顶点坐标；
根据确定的轴向顶点坐标生成相应素材模型的三维包围盒。


4.如权利要求3所述的方法，其特征在于，所述素材模型包括坐标信息完整的标准模型，以及坐标信息不完整的非标准模型；
所述根据所述场景配置信息，确定所述场景图片所包含的素材模型，以及所包含的素材模型在世界坐标系各轴向上的轴向顶点坐标包括：
对于标准模型，根据其包含的坐标信息直接确定在世界坐标系各轴向上的轴向顶点坐标；
对于非标准模型，利用主成分分析法对非标准模型的三维顶点坐标集合进行分析，确定三个主方向和质心；根据确定的主方向和质心非标准模型的三维顶点坐标集合进行坐标变换，根据变换后的坐标确定在世界坐标系各轴向上的轴向顶点坐标。


5.如权利要求2所述的...

【专利技术属性】
技术研发人员：王丽雯，周锴，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11