雷达、LIDAR和超声测量数据的合成生成制造技术

雷达、LIDAR和超声测量数据的合成生成。一种用于生成与由第一物理测量模式捕获的实际测量数据不能区分开的合成测量数据的方法，其中，该第一物理测量模式基于向对象发射询问波并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波，该方法包括以下步骤：获得第一潜在空间中的合成测量数据的第一压缩表示，其中，该第一潜在空间与第一解码器相关联，该第一解码器将第一潜在空间的每个元素映射到与第一物理测量模式的实际测量数据的记录不能区分开的合成测量数据的记录；以及将第一解码器应用于第一压缩表示，以便于获得所寻求的合成测量数据。用于训练第一编码器和解码器以及用于训练域变换的方法。

【技术实现步骤摘要】
雷达、LIDAR和超声测量数据的合成生成
本专利技术涉及测量数据的合成生成，特别是用于对应于雷达、LIDAR（激光雷达）、超声和相似的物理测量模式的数据。
技术介绍
为了以至少部分自动化的方式引导车辆通过道路交通，有必要从车辆的周围环境中捕获物理测量数据，并且为其出现可能需要更改车辆的轨迹的其他交通参与者、车道边界或其他任何种类的对象评估该数据。不论照明条件如何，都可以通过雷达捕获对象。而且，雷达数据会立即得出到对象的距离和对象的速度。这对于评估车辆是否可能与检测到的对象碰撞来说是至关重要的信息。当机器学习模块要被训练成基于雷达测量来识别对象时，所需训练的训练数据就是一种稀缺资源。正如德国专利DE102018204494B3中详述的那样，当训练数据需要由人类做标记以实行监督学习时，该任务比对于图像而言更艰难，因为从雷达信号中识别对象远非那么直观。而且，由于有很多因素会影响雷达波的传播，因此与基于光学图像的对象识别相比，基于雷达数据的对象识别倾向于需要更多训练数据。因此，DE102018204494B3专利建议使用生成对抗网络GAN来生成合成雷达数据。
技术实现思路
专利技术人已经开发了一种用于生成与由第一物理成像模式捕获的实际测量数据不能区分开的合成测量数据的方法。这种物理成像模式基于向对象发射询问波，并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波。以定向射束的形式，可以传输询问波，并且可以接收反射波。特别地，询问波可以是雷达波、LIDAR波或超声波。具体地，第一物理测量模式的测量数据可以包括●到对象上有助于发射反射波的位点的角度和距离的组合；和/或●对象上所述位点的点云。这些测量模式的共同之处在于，原始数据比图像数据更难被人类解释。因此，当机器学习模型被训练成对测量数据所指示的对象进行分类或获取诸如对象的速度之类的回归量时，利用与手头的任务有关的“地面实况（groundtruth）”来标记训练数据的记录会更加昂贵和耗时。获得合成测量数据的可能性允许使更多训练数据可用于机器学习模块的训练，而无需为标记该数据付出过多的人力。测量数据可以采用适合于预期用途的任何形式。例如，测量数据可以包括时间序列数据或该时间序列数据到频率空间的变换，诸如快速傅立叶变换。该方法开始于在第一潜在空间中获得合成测量数据的第一压缩表示。该第一潜在空间与第一解码器相关联，该第一解码器被训练成将第一潜在空间的每个元素映射到与第一物理测量模式的实际测量数据的记录不能区分开的合成测量数据的记录。例如，编码器和解码器的串联（tandem）可以被训练成使得当实际测量数据的记录由编码器变换为第一压缩表示并且然后变换回合成测量数据的记录时，该合成测量数据的记录最好与实际测量数据的原始记录相对应。即使进行这种串联训练，也仅需要处于其训练状态的第一解码器来实行该方法。经训练的第一解码器被应用于第一压缩表示。这产生了所寻求的合成测量数据。专利技术人已经发现，以这种方式，获得合成测量数据的相当复杂的任务可以被简化成寻找适当的压缩表示的简单得多的任务。具体地，如果压缩是有损压缩，则就所包含的数据量而言，压缩表示可以是测量数据的记录的100分之一或更小。在维数少100倍的空间中查找事物要容易得多。雷达、LIDAR和超声波传感器生成的原始数据是稀疏的，即，所包含的信息远少于相应信号所能表示的信息。这允许对数据进行有损压缩，而不会丢失有关采样场景的任何关键信息。如果第一压缩表示包括离散变量的矢量或张量，并且这些变量的数量小于第一物理测量模式的测量数据的记录中的变量的数量，则该效果就特别显著。例如，第一压缩表示可以是矢量量化的表示，即，具有量化分量的矢量或张量。这缩小了在其中进一步寻求第一压缩表示的空间：由于存在有限数量的维度以及沿着每个维度的有限数量的可能离散值，因此存在有限数量的可能压缩表示。可以使用任何合适的技术在缩小的空间中寻求第一压缩表示。例如，可以使用参数优化技术来优化压缩表示中的变量，以便找到映射到合成测量数据的合适记录（即，与实际测量数据不能区分开的记录）的表示。在矢量量化的情况下，如果可以足够快地测试候选压缩表示是否映射到合成测量数据的合适记录，则即使对第一潜在空间进行蛮力搜索也可能是可行的。在下文中，公开了获得第一压缩表示的两种示例性方法。这些示例性方法还考虑到第一潜在空间通常是完整矢量空间的子空间，该完整矢量空间由解码器取作输入的所有变量张成。例如，如果训练了编码器-解码器串联，并且由编码器产生的压缩表示是具有100个分量的矢量，则并非来自该100维矢量空间的所有矢量都将被解码成有意义的结果。但是可以使用另外的机器学习来训练找到确实映射到合成测量数据的合适记录的矢量的能力。在第一示例性实施例中，从先验变换的输入空间中提取样本，该先验变换被训练成将该输入空间的每个元素映射到第一潜在空间的元素。然后将先验变换应用于该样本，并且这产生了所寻求的第一压缩表示。然后，该第一压缩表示将映射到合成测量数据的合适记录。以这种方式，获得合成测量数据的总体任务被拆分成可以依次实行的两个任务：训练编码器-解码器串联以形成第一潜在空间，并且然后训练先验变换以将样本（例如，随机样本）从输入空间转换为作为第一潜在空间的成员的样本。例如，先验变换可以具体地包括至少一个经训练的自回归神经网络。例如，该神经网络可以是卷积神经网络。可以将任意输入数据转换成由编码器-解码器串联创建的潜在空间的成员的先验变换的一个示例在本领域中被已知为“PixelCNN”。优选地，该先验变换可以包括多个部分，使得该先验变换的不同部分将它们各自的输入空间的元素映射到各自的输出，然后将这些输出叠加以形成第一压缩表示。例如，先验变换的不同部分可以将它们各自的输入映射到第一压缩表示的不同部分，并且所有部分一起形成完整的第一压缩表示。在第一压缩表示被组织成具有多个级别的分层结构的情况下，这是特别有利的。然后先验变换的不同部分可以被训练成产生第一压缩表示的不同级别。以这种方式拆分先验变换的优点是双重的。首先，将条件附加到所寻求的合成测量数据上具有更大的灵活性。例如，手头的任务可能不是仅找到任何合成雷达图像，而是找到会指示存在某些对象的图像。某些对象的这种存在可以在分类任务中形成“类别标签”。在第一压缩表示包括三个级别（叫做最高、中等和最低级别）的示例中，一个第一自回归神经网络（例如，PixelCNN）可以被训练成找出压缩表示的每个级别。最高级别的获得可能取决于类别标签；较低级别的获得可能取决于类别标签和在前级别的结果。其次，由于可以单独地训练先验变换的各个部分，因此该训练可以并行化。以这种方式，可以利用硬件加速器上的所有可用计算能力和存储器。在第二示例性实施例中，该方法被专门配置成用于测量数据的域转移。即，从第二物理测量模式的实际测量数据开始，寻找表示具有基本相似内容的场景的第一物理测量模式的合成测量数据。例如，该第二物理测量模式可以具体包括：记本文档来自技高网...

【技术保护点】
1.一种用于生成与由第一物理测量模式捕获的实际测量数据（1）不能区分开的合成测量数据（3）的方法（100），其中，该第一物理测量模式基于向对象发射询问波并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波，所述方法包括以下步骤：/n● 获得（110）第一潜在空间（1b）中的合成测量数据（3）的第一压缩表示（3*），其中，该第一潜在空间（1b）与第一解码器（1c）相关联，所述第一解码器（1c）被训练成将第一潜在空间（1b）的每个元素映射到与第一物理测量模式的实际测量数据（1）的记录不能区分开的合成测量数据的记录；以及/n● 将第一解码器（1c）应用（120）于第一压缩表示（3*），以便于获得所寻求的合成测量数据（3）。/n

【技术特征摘要】
20191104 DE 102019216927.91.一种用于生成与由第一物理测量模式捕获的实际测量数据（1）不能区分开的合成测量数据（3）的方法（100），其中，该第一物理测量模式基于向对象发射询问波并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波，所述方法包括以下步骤：
●获得（110）第一潜在空间（1b）中的合成测量数据（3）的第一压缩表示（3*），其中，该第一潜在空间（1b）与第一解码器（1c）相关联，所述第一解码器（1c）被训练成将第一潜在空间（1b）的每个元素映射到与第一物理测量模式的实际测量数据（1）的记录不能区分开的合成测量数据的记录；以及
●将第一解码器（1c）应用（120）于第一压缩表示（3*），以便于获得所寻求的合成测量数据（3）。


2.根据权利要求1所述的方法（100），其中，获得（110）第一压缩表示（3*）具体包括：
●从先验变换（5）的输入空间（5a）提取（111）样本（5*），所述先验变换（5）被训练成将输入空间（5a）的每个元素映射到第一潜在空间（1b）的元素；以及
●将先验变换（5）应用（112）于样本（5*），以便于获得所寻求的第一压缩表示（3*）。


3.根据权利要求2所述的方法（100），其中，所述先验变换（5）具体包括至少一个经训练的自回归神经网络。


4.根据权利要求2至3中任一项所述的方法（100），其中，所述先验变换（5）包括多个部分（51-53），使得所述先验变换（5）的不同部分（51-53）将它们各自的输入空间（51a-53a）的元素映射到各自的输出（51b-53b），然后将所述各自的输出叠加以形成第一压缩表示（3*）。


5.根据权利要求1所述的方法（100），其中，获得（110）第一压缩表示（3*）具体包括：
●将第二经训练的编码器（2a）应用（113）于第二物理测量模式的实际测量数据（2）的记录，所述第二物理测量模式与第一物理测量模式不同，以便于获得该实际测量数据（2）在第二潜在空间（2b）中的第二压缩表示（2*），其中，第二潜在空间（2b）与第二解码器（2c）相关联，所述第二解码器（2c）被训练成将第二潜在空间（2c）的每个元素映射到与第二物理测量模式的实际测量数据（2）的记录不能区分开的合成测量数据（2'）的记录；以及
●将域变换（6）应用（114）于第二压缩表示（2*），所述域变换被训练成将第二潜在空间（2b）的每个元素映射到第一潜在空间（1b）的元素，以便于获得所寻求的第一压缩表示（3*）。


6.根据权利要求5所述的方法（100），其中，所述第二物理测量模式具体包括：记录入射到传感器上的光波的强度和/或波长的空间分辨的分布。


7.根据权利要求1至6中任一项所述的方法（100），其中，所述第一压缩表示（1*）包括离散变量的矢量或张量，其中，这些变量的数量小于第一物理测量模式的测量数据（1、3）的记录中的变量的数量。


8.根据权利要求1至7中任一项所述的方法（100），其中，获得（110）所述第一压缩表示（3*）具体包括：挑选从其获得所述第一压缩表示（3*）的第一潜在空间（1b），使得第一解码器（1c）将该第一潜在空间（1b）的元素映射到的合成测量数据（3）与至少一个预确定条件（7）一致。


9.根据权利要求8所述的方法（100），其中，所述预确定条件（7）具体包括：询问波与一个或多个特定对象的相互作用，和/或影响询问波的和/或反射波的传播的一个或多个环境条件。


10.根据权利要求1至9中任一项所述的方法（100），进一步包括：使用所生成的合成测量数据（3）训练（130）至少一个机器学习模块（54），所述机器学习模块（54）将从车辆（50）捕...

【专利技术属性】
技术研发人员：T·宾泽尔，A·霍列娃，J·哈施，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE