使用神经网络、本地存储器和共享存储器跟踪多个对象制造技术

本发明专利技术涉及用于跟踪和/或表征图像序列中的多个对象的方法，具有步骤：向每个待跟踪的对象分配神经网络；提供所有神经网络共享的存储器；为每个神经网络分别提供本地存储器；向每个神经网络输送序列中的图像和/或其片段；在神经网络之一处理每个图像和/或图像片段时，从该神经网络的至少一个处理产物产生地址向量；基于该地址向量将该神经网络的至少一个另外的处理产物写入共享存储器和/或本地存储器，和/或从共享存储器和/或本地存储器读取数据并由该神经网络进一步处理；以及作为输出，每个神经网络提供各自分配的对象在输送给其的图像或图像片段中的位置，和/或关于各自分配的对象的行为或其他所寻找的属性的信息。配的对象的行为或其他所寻找的属性的信息。配的对象的行为或其他所寻找的属性的信息。

【技术实现步骤摘要】
使用神经网络、本地存储器和共享存储器跟踪多个对象


[0001]本专利技术涉及图像序列中的对象的跟踪，所述图像序列可以表示例如交通状况。

技术介绍

[0002]为了使车辆能够在道路交通中至少部分自动化地移动，需要检测车辆的环境并在即将与车辆环境中的对象碰撞时启动应对措施。环境表示的创建和本地化也是安全自动驾驶所需要的。
[0003]典型地，使用至少一个传感器观察车辆的环境，并且从记录的测量数据中使用经过训练的机器学习模型对从中可看到的对象进行分类。对于移动的对象，了解对象所遵循的轨迹同样重要。DE 10 2017 223 206 A1公开了一种借助于人工神经网络确定对象的线形轨迹的设备。
[0004]在诸如机场的区域视频监视的范围中，跟踪对象也重要。

技术实现思路

[0005]在本专利技术的范围内，开发了一种用于跟踪和/或表征图像序列中的多个对象的方法。
[0006]图像的概念不限于相机静止图像，而是还包括例如视频图像、雷达图像、激光雷达图像或热图像。
[0007]该方法开始于向每个待跟踪的对象分配神经网络。例如，在所述图像序列开始时，可以使用任何方法识别该图像中包含的各种对象，例如通过分类和/或（例如语义）分割进行识别。然后可以将“代理”形式的神经网络分别应用于这些对象中的每一个。因此，每个神经网络只关心跟踪分配给它的对象、标识该对象和/或获取关于该对象的行为或其他所寻找的属性的进一步信息。
[0008]提供了所有神经网络共享的存储器。此外，为每个神经网络分别提供本地存储器，只有相应的神经网络可以访问该本地存储器。
[0009]向每个神经网络输送来自所述序列的图像和/或这些图像的片段。在此，特别是例如可以将图像片段选择为，使得它们分别包含先前已标识的对象。在由神经网络之一处理每个图像和/或图像片段期间，从该神经网络的至少一个处理产物中产生地址向量。基于该地址向量将该神经网络的至少一个另外的处理产物写入共享存储器和/或本地存储器。替代地或与此相结合，从所述共享存储器和/或从本地存储器读取数据并由该神经网络进一步处理。
[0010]作为输出，每个神经网络提供各自分配的对象在输送给该神经网络的图像或图像片段中的位置，和/或关于各自分配的对象的行为或其他所寻找的属性的信息。
[0011]例如，可以假定在所述图像序列开始时的对象仅被识别为未更详细表示的单独对象，在图像序列的过程中逐步提高准确度地标识该对象。从而例如可以首先将行人识别为行人，然后识别为儿童，并且最后识别为男孩或女孩。
computer）DNC。然后，这些神经网络成为由许多共享所述存储器的这种DNC构成的复合体。此外，本地存储器也可以与该本地存储器所属的神经网络组合地形成“可微神经计算机”。
[0022]使用与神经网络一起形成“可微神经计算机”的存储器是特别有利的，因为通过共享存储器来交换相关信息于是可以无缝地集成到相应神经网络的训练中。然后，用于评估地址向量的运算的可微性确保在监督学习期间，通过将输出与先前已知的“地面真值”进行比较而确定的误差能够以参数的梯度形式通过相应的神经网络反向传播，所述参数表征相应神经网络的行为。因此，对共享存储器或对本地存储器的访问不会成为无法在相反方向上克服的“屏障”。
[0023]地址向量的可微评估也有利于在训练期间逐渐接近于最佳状态。例如，如果第一神经网络在共享存储器中存储了可能有助于由第二神经网络跟踪另一个对象的信息，则所述第二神经网络在进一步处理时考虑该信息越多，所述第二神经网络的用成本函数（损失函数）测量的性能就越好。由于所述存储器中地址向量的可微评估，如果所述第二神经网络从中检索数据的存储器地址仅接近于所述第一神经网络存储有用信息的存储器地址，则所述有用信息的一部分已经到达所述第二神经网络。因此，在训练时存在以下反馈，即如果由所述第二神经网络检索的地址继续接近于由所述第一神经网络写入的地址，则改进性能。同样，所写入的地址也可以在优化时移动。
[0024]相反，如果用于评估地址向量的运算不可微，则可以在训练期间例如用可微函数来逼近这些运算。然后可以通过这些逼近反向传播参数的梯度。这种逼近的示例是sigmoid函数，使用该函数可以以可微形式模拟向值0和1的二进制离散化。在上面的“屏障”类比中，该逼近是训练期间梯度的“鱼梯”。
[0025]在一种特别有利的设计中，从中产生所述地址向量的所述处理产物代表在待跟踪的对象上识别的视觉特征。例如，所述神经网络可以包括一系列卷积层，在这些卷积层中分别通过应用一个或多个滤波器内核产生一个或多个特征图，每个特征图具有明显降低的维度。然后，第一个卷积层中的特征图可以表明在所述图像或图像片段中存在特定的视觉基本特征，而另外的卷积层中的特征图则表明存在更复杂的视觉特征。
[0026]所述共享存储器和/或至少一个本地存储器可以特别是例如构造为关联存储器，其中可以存储与所述神经网络的处理产物相关联的数据。这有点类似于将特定值分配给特定键（这里：所述处理产物）的数据库。这种结构首先不需要预先知道哪些信息的长期记忆和/或哪些信息在神经网络之间的交换是特别有利的。但是，如果预先知道等于何种类型的对应指示，则可以使用所述指示。例如，神经网络可以相互交换由它们跟踪的对象分别是哪种类型的对象和/或它们分别跟踪该类型的多个现有对象的哪些具体实例。例如，单个神经网络可以将在越来越准确地表征（行人
‑
儿童
‑
男孩或女孩）的情况下的逐步进展以关联形式存储在其本地存储器中。
[0027]可以例如通过以下方式引入这方面的先验知识，即在提供的范围中用对象的标识和/或用表征对象的行为或其他所寻找的属性的数据预先占据所述关联存储器。在此不必预给定与任何处理产物的具体关联。因此，所述标识或数据例如可以简单地作为列表存在于所述关联存储器中，并且例如如果神经网络相信，它已经识别出例如具有特定标识的对象，则该神经网络可以将已经存在于存储器中的该标识与由该网络形成的特定处理产物相关联。例如，在从1到10的10个数字标识的列表中，对于最初分别尚未引用的对象实例，神经
网络可以注意到特定的视觉特征强烈表明所跟踪的对象是号码为6的对象实例。
[0028]在另一有利的设计中，从所述共享存储器和/或从至少一个本地存储器读取的数据在由神经网络进一步处理时与该神经网络的至少一个处理产物组合。由此考虑了所述共享存储器中的数据虽然可以包含关于所跟踪的对象之间的相似性以及关于所观察的场景整体的信息，但不能完全取代由应用于对象的神经网络对该对象的跟踪。当这些数据以后与神经网络的另外的处理产物组合时，将所述数据存储在本地存储器中也是最有效的。首先存储数据而不是立即最终处理所述数据的主要原因可能在于：该最终处理恰好还需要神经网络的另外的处理产物。这有点类似于在便携式计算器上用于存储数值的“存储”按钮主要用于以后用所述数值进一步计算，而不是仅仅用于再次查看这些数值。
[0029]在另一特别有利的设计中，至少第一和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于跟踪和/或表征图像（1）序列中的多个对象（2a
‑
2c）的方法（100），具有以下步骤：
•
向每个待跟踪的对象（2a
‑
2c）分配（110）神经网络（3a
‑
3c）；
•
提供（120）所有神经网络（3a
‑
3c）共享的存储器（4）；
•
为每个神经网络（3a
‑
3c）分别提供（125）本地存储器（9a
‑
9c）；
•
向每个神经网络（3a
‑
3c）输送（130）来自所述序列的图像（1）和/或所述图像（1）的片段；
•
在由所述神经网络（3a
‑
3c）之一处理每个图像（1）和/或图像片段期间，从该神经网络（3a
‑
3c）的至少一个处理产物（5a
‑
5c）中产生（140）地址向量（4a）；
•
基于该地址向量（4a）将该神经网络（3a
‑
3c）的至少一个另外的处理产物（6a
‑
6c）写入（150）共享存储器（4）和/或本地存储器（9a
‑
9c），和/或从所述共享存储器（4）和/或本地存储器（9a
‑
9c）中读取（160）数据（4c）并由该神经网络（3a
‑
3c）进一步处理（170）；以及
•
作为输出（7a
‑
7c），每个神经网络（3a
‑
3c）提供（180）各自分配的对象（2a
‑
2c）在输送给该神经网络的图像（1）或图像片段中的位置，和/或关于各自分配的对象（2a
‑
2c）的行为或其他所寻找的属性的信息。2.根据权利要求1所述的方法（100），其中，神经网络（3a
‑
3c）的共享存储器（4）和/或至少一个本地存储器（9a
‑
9c）被构造为通过可微运算将地址分量的地址向量（4a）映射为一个或多个存储器位置（4b），并且从所述存储器位置（4b）读取数据（4c）或将数据（4c）写入所述存储器位置（4b）。3.根据权利要求1至2中任一项所述的方法（100），其中，从中产生所述地址向量（4a）的所述处理产物（5a
‑
5c）代表在待跟踪的对象（2a
‑
2c）上识别的视觉特征。4.根据权利要求1至3中任一项所述的方法（100），其中，所述共享存储器（4）和/或至少一个本地存储器（9a
‑
9c）被构造为关联存...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：