【技术实现步骤摘要】
本专利技术涉及神经网络系统的训练，以预测多个交互的动作者(诸如交通情形中的车辆或机器人)的行为。
技术介绍
1、在自主驾驶和驾驶辅助应用中，一个主要任务是预测不同驾驶员的行为。对于给定的车辆，这种预测需要概率推断框架，该框架采用一组测量(速度、相对于车道的相对位置等)。然后，该框架求解一个问题，并且输出未来时间步长中的每个驾驶员的预测。最后，预测输出被用于下游自主驾驶或驾驶辅助功能(诸如自适应巡航控制)中，以改进驾驶舒适性。
2、当机器学习模型被训练成进行这种任务时，它们被期望仅从所记录的训练数据学习自然行为和交通规则。例如，车辆的未来轨迹应当遵循经标记的车道。此外，两个车辆的未来轨迹不应当相交，相交将意味着碰撞。也就是说，好的预测还取决于交通参与者之间的交互。图神经网络(gnn)非常适合于对这种交互进行建模。
3、然而，实际上难以迫使gnn依赖于交互。当仅面对与要求解的任务相关的优化目标时，gnn可以就忽略交互，只要它可以在不考虑交互的情况下得出令人满意的解。所谓的正则化方法修改了优化目标，使得它鼓励考虑交互。
技术实现思路
1、本专利技术提供了一种用于训练神经网络系统来预测一组交互的动作者的行为的方法。
2、该神经网络系统包括编码器，该编码器被配置成将关于每个动作者的输入数据转换成具有表示动作者特征的值的一维动作者表示。例如，针对a个动作者中的每一个，输入数据的记录xi可以包括tin个离散时间步长上的fin个特征的历史，使得输入数据的记录xi
3、该神经网络系统还包括图神经网络gnn，gnn被配置成基于动作者表示的完整图来预测经修改的动作者表示的完整图。也就是说，动作者表示被组合成完整图g＝(v,e)，其中该组节点v表示动作者，并且该组边e表示边之间的连接。“完整”意味着每对节点由一条边连接，即e＝{(v，u)|v，u∈v}，并且每个动作者被允许与所有其他动作者进行交互。
4、该神经网络系统进一步包括解码器，该解码器被配置成将经修改的动作者表示转换成关于每个动作者的所预测行为数据例如，所预测行为数据可以是张量该张量针对a个动作者中的每一个包括tout个未来时间步长的fout个特征。本文中，tout可以不同于tin，并且fout可以不同于fin。像编码器一样，解码器可以是在本训练方法期间可以保持冻结的神经网络。
5、在训练方法的过程中，提供了关于每个动作者的输入数据的训练记录xi*。这些训练记录xi*可以或者可以不被注释有基础真值(ground truth)yi*。即，训练可以是有监督的或无监督的。
6、从每个训练记录xi*中，编码器生成动作者表示fi。经训练的gnn和解码器将这些动作者表示fi处理成关于每个动作者的所预测行为数据也就是说，所预测行为数据可以写为：
7、
8、输出gnn(fi)是所寻找的所预测行为数据的隐表示，并且解码器将其变换成所预测行为数据
9、为了向gnn给出鼓励交互考虑的辅助任务，从动作者表示fi，确定经掩蔽的动作者表示fi'。为此，在针对至少两个所选动作者的动作者表示fi中，仅修改每个动作者表示的值的相应严格子集。也就是说，在每个动作者表示中，一个或多个值保持不被修改。辅助任务是从经掩蔽的动作者表示fi'重建原始动作者表示fi。也就是说，动作者表示fi中已经被该掩蔽所模糊的信息将通过利用动作者之间的交互来恢复。
10、该辅助任务由待训练的gnn结合帮助者网络来处置。gnn能够实际考虑动作者之间的交互，并且从而将经掩蔽的动作者表示fi'处理成交互表示gi＝gnn(fi)。帮助者网络从交互表示gi确定动作者表示fi的重建fi#。特别地，帮助者网络可以被配置成在与每个动作者单独地相关的交互表示gi上工作。也就是说，如果存在a个动作者，则帮助者网络可以被调用a次来处理与动作者1,…,a相关的交互表示gi的部分。
11、在下文中，参考符号fi、fi'和fi#既用于(原始/经修改/所重建的)动作者表示的完整张量，也用于与一个特定动作者相关的个体动作者表示，以节省另一层索引。
12、预定损失函数对以下各项评级：
13、·在一方面，所预测行为数据即在求解原始任务时gnn的性能，以及
14、·在另一方面，重建fi#与动作者表示fi的偏差，即在求解辅助任务时gnn和帮助者网络的协作的性能。
15、例如，损失函数可以包括与这些个体目标相关的项的总和。对于重建项，可以使用的损失函数的一个示例是huber损失。
16、表征gnn行为的参数和表征帮助者网络行为的参数被朝向如下目标优化：当处理另外的训练记录xi*时改进损失函数做出的评级。特别地，所提到的参数可以全部被组合成一个单一参数向量，并且该参数可以被优化。为此，例如，可以使用关于通过损失函数做出的评级的梯度下降方法。
17、所发现的是，将辅助任务添加到训练过程改进了最终预测的质量，特别是在其中动作者之间的交互是弱的但是仍然重要的应用中。如果动作者之间的交互非常强，那么在不考虑交互的情况下，几乎不可能得出对原始任务的好的解。但是如果交互是弱的，那么gnn可以在不考虑交互的情况下“跛行(limp)”到对原始任务的可行但肯定是次优的解。
18、其中交互可以被认为为弱的应用的一个示例是预测交通情形中的交通参与者的行为。特别地，在该应用中，交互鉴于仅仅是间歇的而可能是弱的。例如，当自我车辆沿着免费使用的经标记车道行进时，最重要的是自我车辆保持在车道中。只要没有其他车辆朝向该自我车辆所行进的车道改变车道，那么与其他车辆的交互就不会使该自主车辆的行为改变成为必需。但是，如果发生这种车道改变，或者车辆队列开始在红交通灯前形成，则交互突然变得相关。
19、在另一个示例中，自我车辆的驾驶员可以在一个车道中朝向另一个车辆加速。最终，自我车辆的驾驶员可能决定超越该另一个车辆。在该示例中，驾驶员决定超越该另一个车辆的时刻标记了与该另一个车辆的交互的开始，因为该另一个车辆的行为(这里：较慢的速度)对驾驶员进行超越的决定做出了影响。
20、仅修改每个动作者表示的值的严格子集(即，使得至少一些值不变)的特别优点是：避免了信息的丢失以及对辅助任务的解的所致模糊性。例如，如果关于两个动作者p和q的动作者表示中的所有值都被设置为0，那么这两个动作者变得不可与彼此区分，因为该图是完整的，并且每个动作者都连接到每个其他动作者。因此，gnn和帮助者网络无法知道第一个动作者应该是p并且第二个动作者应该是q，而不是反过来。但是如果在重建中p和q被交换，则损失函数将对其进行惩罚。
21、因此，在特别有利本文档来自技高网...
【技术保护点】
1.一种用于训练神经网络系统(1)来预测一组交互的动作者(5a-5e)的行为的方法(100)，所述神经网络系统(1)包括：编码器(2)，被配置成将关于每个动作者(5a-5e)的输入数据xi转换成具有表示动作者特征的值的一维动作者表示；图神经网络GNN(3)，被配置成基于动作者表示的完整图来预测经修改的动作者表示的完整图；以及解码器(4)，被配置成将经修改的动作者表示转换成关于每个动作者(5a-5e)的所预测行为数据所述方法(100)包括以下步骤：
2.根据权利要求1所述的方法(100)，其中动作者表示Fi的经修改值的严格子集被选择(141)为至多使得针对所述至少两个所选动作者(5a-5e)的经掩蔽的动作者表示Fi'不相同那么大。
3.根据权利要求1至2中任一项所述的方法(100)，其中动作者表示Fi的经修改值的严格子集被选择(142)为至少使得原始值不可单独从相应的经掩蔽的动作者表示Fi'中导出那么大。
4.根据权利要求1至3中任一项所述的方法(100)，其中修改动作者表示Fi的值包括利用预定值来覆写(143)这些值。
5.根据权利
6.根据权利要求1至5中任一项所述的方法(100)，其中在每个待修改的动作者表示Fi中，被修改的值被随机抽取(145)，使得每个值以预定概率σ被修改。
7.根据权利要求1至6中任一项所述的方法(100)，其中选择(161)多层感知器MLP作为帮助者网络。
8.根据权利要求1至7中任一项所述的方法(100)，其中输入数据xi包括(111)动作者(5a-5e)的位置、轨迹和/或行为的时间序列数据。
9.根据权利要求8所述的方法(100)，其中动作者(5a-5e)的位置、轨迹和/或行为的时间序列数据被分割(111a)成形成训练记录xi*的前期部分以及用作基础真值yi*的后期部分，以用于由所述神经网络系统(1)基于训练记录xi*来预测所述位置、轨迹和/或行为。
10.根据权利要求1至9中任一项所述的方法(100)，其中动作者(5a-5e)被选择(105)为在交通情形中交互的交通参与者。
11.根据权利要求1至10中任一项所述的方法(100)，进一步包括：
12.根据权利要求11所述的方法(100)，进一步包括：
13.一种计算机程序，包括机器可读指令，所述机器可读指令在由一个或多个计算机和/或计算实例执行时使得所述一个或多个计算机和/或计算实例执行权利要求1至12中任一项的方法(100)。
14.一种非暂时性机器可读数据载体和/或下载产品，其具有权利要求13的计算机程序。
15.一个或多个计算机和/或计算实例，其具有权利要求13的计算机程序和/或具有权利要求14的机器可读数据载体和/或下载产品。
...【技术特征摘要】
1.一种用于训练神经网络系统(1)来预测一组交互的动作者(5a-5e)的行为的方法(100)，所述神经网络系统(1)包括：编码器(2)，被配置成将关于每个动作者(5a-5e)的输入数据xi转换成具有表示动作者特征的值的一维动作者表示；图神经网络gnn(3)，被配置成基于动作者表示的完整图来预测经修改的动作者表示的完整图；以及解码器(4)，被配置成将经修改的动作者表示转换成关于每个动作者(5a-5e)的所预测行为数据所述方法(100)包括以下步骤：
2.根据权利要求1所述的方法(100)，其中动作者表示fi的经修改值的严格子集被选择(141)为至多使得针对所述至少两个所选动作者(5a-5e)的经掩蔽的动作者表示fi'不相同那么大。
3.根据权利要求1至2中任一项所述的方法(100)，其中动作者表示fi的经修改值的严格子集被选择(142)为至少使得原始值不可单独从相应的经掩蔽的动作者表示fi'中导出那么大。
4.根据权利要求1至3中任一项所述的方法(100)，其中修改动作者表示fi的值包括利用预定值来覆写(143)这些值。
5.根据权利要求1至4中任一项所述的方法(100)，其中被修改的动作者表示fi被随机抽取(144)，使得每个动作者表示fi以预定概率τ被修改。
6.根据权利要求1至5中任一项所述的方法(100)，其中在每个待修改的动作者表示fi中，被修改的值被随机抽取(145)，使得每个值以预定概率...
【专利技术属性】
技术研发人员：E·科斯曼，A·库马尔，B·拉基奇，G·古尔孙，J·瓦格纳，姚宇，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。