【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体地涉及一种数据增强方法及装置、存储介质、终端、计算机程序产品。
技术介绍
1、在自动驾驶技术的发展过程中，数据增强技术扮演着至关重要的角色。自动驾驶系统依赖大量的场景数据(例如，点云数据、图像数据等)来训练深度学习模型或进行自动驾驶仿真测试。然而，获取和标注足够多样化和高质量的场景数据既昂贵又耗时。并且，自动驾驶场景存在严重的数据长尾分布问题，即常见动态障碍物(例如，行人、机动车、非机动车等)较容易采集，而不常见的道路异常障碍物数据(例如，道路中的纸箱、沙土堆、垃圾袋等)则很难采集，但这种道路异常障碍物对自动驾驶的安全有极大的考验。通过数据增强技术，可以模拟各种道路条件，在原始场景数据中生成大量异常障碍物，以获得更加多样丰富的自动驾驶仿真测试数据，以及提高自动驾驶感知模型对异常障碍物的检测能力，使自动驾驶相关算法或感知模型能够应对多样化的驾驶场景。
2、在自动驾驶领域的现有数据增强技术中，往往是在相机在特定时刻采集的单帧图像，或激光雷达在特定时刻采集单帧点云中生成障碍物数据。然而，单帧图像或单帧点云均只包含自车在单一位置对应的场景信息，缺少前后不同位置之间的场景时序特征，因此，采用现有技术获得的增强数据无法较好地模拟自动驾驶车辆在动态行驶过程中的真实驾驶环境，也就无法适用于时序模型训练以及模拟仿真实验。此外，现有的数据增强技术通常未考虑多模态信息(不同模态信息例如可以指不同类型的自动驾驶场景数据，例如，场景图像、场景点云等)，仅在二维图像或三维点云中生成异常障碍物，没有针对视觉传感器与雷达
技术实现思路
1、本专利技术实施例解决的技术问题是如何获得稳定的、具有时序性的连续帧增强数据。
2、为解决上述技术问题，本专利技术实施例提供一种数据增强方法，包括以下步骤：确定初始障碍物数据以及待增强源数据序列，所述待增强源数据序列包含自车行驶过程中激光雷达采集的具有时序性的多帧原始点云，其中，每帧原始点云具有各自所属的激光雷达坐标系，所述激光雷达坐标系对应于所述激光雷达在该帧原始点云的采集时刻的位置；对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系，得到对应的变换障碍物数据；对于每帧原始点云，将其与对应的变换障碍物数据进行合并，以得到该帧原始点云对应的点云增强数据。
3、可选的，在对于每帧原始点云，将其与对应的变换障碍物数据进行合并之前，所述方法还包括：对于每帧原始点云与对应的变换障碍物数据进行遮挡情况分析，并确认所述变换障碍物数据未被遮挡。
4、可选的，所述对于每帧原始点云与对应的变换障碍物数据进行遮挡情况分析，包括：采用该帧原始点云所属采集时刻的激光雷达坐标系与相机坐标系之间的第一转换矩阵，将该帧原始点云和所述变换障碍物数据分别变换至该相机坐标系，得到对应的相机空间点云和相机空间障碍物数据；基于所述相机空间点云数据、相机空间障碍物数据，以及该相机坐标系与对应的图像坐标系之间的第二转换矩阵，对该帧原始点云与对应的所述变换障碍物数据进行遮挡情况分析；其中，每帧原始点云所属采集时刻的相机坐标系对应于相机在该采集时刻的位置，该相机坐标系对应的图像坐标系是所述相机在该采集时刻采集的原始图像所属的图像坐标系。
5、可选的，基于所述相机空间点云数据、相机空间障碍物数据，以及该相机坐标系与对应的图像坐标系之间的第二转换矩阵，对该帧原始点云与对应的所述变换障碍物数据进行遮挡情况分析，包括：对所述相机空间点云数据和所述相机空间障碍物数据分别进行体素化处理，得到对应的多个点云体素和多个障碍物体素；对于从该相机坐标系的原点指向对应的图像坐标系的每一像素位置的方向向量，按照预设的采样方式在该方向向量上确定多个采样点；选择至少有第一预设数量的采样点落入所述点云体素的方向向量，记为目标向量；如果至少有第二预设数量个目标向量满足下述条件，则确认所述变换障碍物数据被遮挡：所述目标向量上的落入所述点云体素的各采样点中，至少有第三预设数量的采样点与所述相机坐标系的原点的距离，小于所述目标向量上落入所述障碍物体素的任一采样点与所述相机坐标系的原点的距离。
6、可选的，所述方法还包括：在确认所述原始点云对应的变换障碍物数据被遮挡的情况下，重复对所述变换障碍物数据进行偏移，并在每次偏移后对所述原始点云与当前次偏移后的障碍物数据进行遮挡情况分析，如果当前次偏移后的障碍物数据未被遮挡且重复次数小于预设次数，则对当前次偏移后的障碍物数据与所述原始点云进行合并，得到所述原始点云对应的点云增强数据。
7、可选的，所述方法还包括：如果重复次数达到所述预设次数，且最后一次的偏移后的障碍物数据仍被遮挡，则更换所述待增强源数据序列；基于更换后的待增强源数据序列与所述初始障碍物数据执行数据增强。
8、可选的，所述对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系，得到对应的变换障碍物数据，包括：从所述多帧原始点云所属的各采集时刻中选取目标采集时刻，并采用该目标采集时刻的自车坐标系作为基准坐标系，其中，每帧原始点云所属采集时刻的自车坐标系对应于自车在该采集时刻的位置；将所述初始障碍物数据变换至所述基准坐标系，得到第一变换数据；对于每帧原始点云，采用该帧原始点云所属采集时刻的自车坐标系与所述基准坐标系之间的第三转换矩阵，将所述第一变换数据变换至该自车坐标系，得到第二变换数据；基于该自车坐标系与该帧原始点云所属的激光雷达坐标系之间的第四转换矩阵，将所述第二变换数据变换至该帧原始点云所属的激光雷达坐标系，得到所述变换障碍物数据。
9、可选的，在对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系之前，所述方法还包括：在该帧原始点云中选取目标区域，统计该帧原始点云中落入所述目标区域的三维点的总数量，并计算该总数量与所述目标区域的体积的商，得到单位数量；确定所述初始障碍物数据形成的障碍物区域的体积，并采用所述障碍物区域的体积与所述单位数量的乘积，作为采样点数量；基于所述采样点数量，对属于所述障碍物区域的表面的三维点进行下采样处理。
10、可选的，所述待增强源数据序列还包含自车行驶过程中相机针对同一目标场景采集的具有时序性的多帧原始图像，每帧原始图像具有各自所属的图像坐标系，所述图像坐标系对应于所述相机在该帧原始点云的采集时刻的位置，其中，具有时序性的所述多帧原始点云与所述多帧原始图像一一对应，且对应的原始图像与原始点云所属采集时刻一致；所述方法还包括：对于每帧原始点云，将所述初始障碍物数据在该帧原始点云所属的激光雷达坐标系下的变换障碍物数据，变换至该帧原始点云对应的原始图像所属的图像坐标系，得到对应的图像障碍物数据；基于所述图像障碍物数据执行渲染操作，得到渲染图像数据，所述渲染图像数据的每个像素具有各自的像素值；采用所述渲染图像数据的各像素的像素值，替换该帧原始图像中相同位置像素的像素值，得到对应的图像本文档来自技高网...
【技术保护点】
1.一种数据增强方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对于每帧原始点云，将其与对应的变换障碍物数据进行合并之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述对于每帧原始点云与对应的变换障碍物数据进行遮挡情况分析，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述相机空间点云数据、相机空间障碍物数据，以及该相机坐标系与对应的图像坐标系之间的第二转换矩阵，对该帧原始点云与对应的所述变换障碍物数据进行遮挡情况分析，包括：
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系，得到对应的变换障碍物数据，包括：
8.根据权利要求1或7所述的方法，其特征在于，在对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系之前，所述方法还包括：>
9.根据权利要求1所述的方法，其特征在于，所述待增强源数据序列还包含自车行驶过程中相机针对同一目标场景采集的具有时序性的多帧原始图像，每帧原始图像具有各自所属的图像坐标系，所述图像坐标系对应于所述相机在该帧原始点云的采集时刻的位置，其中，具有时序性的所述多帧原始点云与所述多帧原始图像一一对应，且对应的原始图像与原始点云所属采集时刻一致；
10.一种数据增强装置，其特征在于，包括：
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述数据增强方法的步骤。
12.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10任一项所述数据增强方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述数据增强方法的步骤。
...【技术特征摘要】
1.一种数据增强方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对于每帧原始点云，将其与对应的变换障碍物数据进行合并之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述对于每帧原始点云与对应的变换障碍物数据进行遮挡情况分析，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述相机空间点云数据、相机空间障碍物数据，以及该相机坐标系与对应的图像坐标系之间的第二转换矩阵，对该帧原始点云与对应的所述变换障碍物数据进行遮挡情况分析，包括：
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述对于每帧原始点云，将所述初始障碍物数据变换至该帧原始点云所属的激光雷达坐标系，得到对应的变换障碍物数据，包括：
8.根据权利要求1或7所述的方法，其特征在于，在对于每帧原始点云，将所述初始障碍物数据变换至该帧原始...
【专利技术属性】
技术研发人员：黄超，陈熙，舒浩宇，姚为龙，
申请(专利权)人：上海仙途智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。