用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备技术

提供一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络。该方法包括：(a)获取到来自自动驾驶车辆的镜头和传感器的行驶视频和感测信息后，将所述行驶视频中的帧和所述感测信息输入到场景代码生成模块中，从而生成场景代码，所述场景代码包括关于所述帧中的场景和关于行驶事件的信息；以及(b)利用每一个所述帧的所述场景代码和对象检测信息，将所述对象检测信息满足预设条件的帧选为特定帧，或者利用所述场景代码和所述对象检测信息，将与学习策略匹配的帧选为所述特定帧，并将所述特定帧和特定场景代码存储到所述帧存储单元。帧和特定场景代码存储到所述帧存储单元。帧和特定场景代码存储到所述帧存储单元。

【技术实现步骤摘要】
【国外来华专利技术】用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备
[0001]相关申请交叉引用
[0002]本申请要求2020年4月24日递交的、申请号为第63/014,877号的美国专利申请与2021年3月17日递交的、申请号为第17/204,287号的美国专利申请的优先权，其公开内容通过引用全部结合在本申请中。


[0003]本专利技术涉及一种用于训练自动驾驶车辆的感知网络的车载主动学习方法和设备，更具体地，涉及一种从自动驾驶车辆的实时数据中选择用于训练感知网络的学习用数据，并利用已选的学习用数据训练感知网络的车载主动学习方法和设备。

技术介绍

[0004]近年来，正在进行针对利用机器学习来执行物体识别等方法的研究。
[0005]深度学习(deep learning)是一种利用输入层和输出层之间具有多个隐藏层的神经网络的机器学习，其具有很高的识别性能。
[0006]另外，使用深度学习的神经网络(neural network)通常通过使用损失的反向传播(backpropagation)来进行学习。
[0007]为了训练这种深度学习网络，现有技术根据数据收集策略收集原始数据，人类标注者对收集的原始数据进行标注以生成新的训练数据。之后，使用新的训练数据和原训练数据来训练深度学习网络，然后人类工程师参考性能分析结果修改和改进用于训练深度学习网络的学习算法。另外，参考分析结果更改数据采集策略并重新检查是否有错误的标注，并进行相应修改。
[0008]但是，在这样的现有方法中，随着深度学习网络性能的提高，对训练有用的困难样本变得稀少，因此使用新的训练数据来提高深度学习网络性能的效果降低，并且经人类标注者的数据标注投资回报下降。
[0009]另一方面，自动驾驶车辆在没有驾驶员任何动作的情况下，对应车辆的运行信息和行驶环境而行驶，其使用基于深度学习的感知(perception)网络以检测行驶环境，例如，车辆周边的对象、车道线、交通信号等。
[0010]这种自动驾驶车辆需要在线学习，即，在安装有感知网络的状态下学习，以更新感知网络。但是，由于车辆嵌入式(embedded)系统的存储容量有限，需要对存储有学习用数据的数据库(例如，云)执行数据采样，以获取训练感知网络所需的学习用数据。
[0011]为了数据采样，现有技术使用随机采样方法、元数据(metadata)采样方法以及人工管理(manual curation)采样方法等，但是这种现有采样方式不适用于车载学习。
[0012]因此，现有技术具有在线下将所有数据存储于数据库(例如，云)后进行主动学习的缺点。

技术实现思路

[0013]技术问题
[0014]本专利技术的目的在于解决上述的所有问题。
[0015]本专利技术的另一个目的在于提供一种能够在线执行主动学习的方法。
[0016]本专利技术的另一目的在于提高利用新训练数据的感知网络学习效果。
[0017]本专利技术的又一目的在于提供一种针对自动驾驶车辆的感知网络执行车载学习的方法。
[0018]技术方案
[0019]为了实现上述本专利技术的目的并实现后述的本专利技术的特征效果，本专利技术的特征结构如下。
[0020]根据本专利技术的一个方面，提供一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络，其中，包括：(a)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，车载主动学习设备将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及(b)所述车载主动学习设备执行以下过程中的至少一个：(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元的过程、以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元的过程。
[0021]所述车载主动学习方法可进一步包括(c)所述车载主动学习设备(c1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，(c2)并利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。
[0022]所述(c)中，所述车载主动学习设备执行以下过程中的至少一个：(i)在所述步骤(c1)中，当采样所述特定帧时，参考所述场景代码仅选择多数类别中的一部分且对于少数类别利用尽可能多的数据进行欠采样，或者进行生成与多数类别的数量相同的少数类别的副本的数据的过采样以生成所述学习数据并训练所述感知网络的过程，(ii)在所述步骤(c2)中，当利用所述学习数据训练所述感知网络时，(ii
‑
1)通过权重均衡生成关于对应于所述场景代码的所述学习数据的权重均衡损失，并(ii
‑
2)通过利用所述权重均衡损失的反向传播训练所述感知网络的过程。
[0023]所述(a)中，所述车载主动学习设备使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码，(ii)使通过行驶事件检测模块从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶的过程中发生的行驶事件生成行驶事件代码，(iii)利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应于每一个所述帧的场景代码。
[0024]所述车载主动学习设备使所述场景代码生成模块(i)通过所述行驶事件检测模块
检测所述帧中的场景变化生成基于帧的事件代码，并(ii)通过检测所述感测信息中的所述自动驾驶车辆的操作状态生成基于车辆的事件代码，以此生成所述行驶事件代码。
[0025]所述(b)中，所述车载主动学习设备参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
[0026]所述(b)中，所述车载主动学习设备参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
[0027]所述(b)中，所述车载主动学习设备将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。
[0028]所述(b)中，所述车载主动学习设备参考所述场景代码，将在稀有行驶环境中检测出行人的帧选为所述特定帧。
[0029]根据本专利技术的另一个方面,提供一种车载主动本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种车载主动学习方法，其用于训练自动驾驶车辆的感知网络，其中，包括：(a)在自动驾驶车辆行驶过程中，获取到来自镜头的行驶视频和来自车辆传感器的感测信息后，车载主动学习设备将所述行驶视频中连续的帧和所述感测信息输入到场景代码生成模块中，以使所述场景代码生成模块参考所述帧和所述感测信息生成场景代码，所述场景代码包括关于每一个所述帧的场景的信息和关于行驶事件的信息；以及(b)所述车载主动学习设备执行以下过程中的至少一个：(i)利用每一个所述帧的所述场景代码以及通过对象检测器检测的每一个所述帧中的对象检测信息，将所述帧中在所述行驶事件的所述对象检测信息满足预设条件的帧选为用于训练所述自动驾驶车辆的感知网络的特定帧，并对所述特定帧及与其对应的特定场景代码进行匹配后存储到帧存储单元的过程、以及(ii)利用所述场景代码和所述对象检测信息，将与所述自动驾驶车辆的所述感知网络的学习策略匹配的帧选为特定帧，并对所述特定帧及与其对应的所述特定场景代码进行匹配后存储到所述帧存储单元的过程。2.根据权利要求1所述的方法，其中，进一步包括：(c)所述车载主动学习设备(c1)通过所述特定场景代码对存储于所述帧存储单元的所述特定帧进行采样以生成学习数据，(c2)并利用所述学习数据车载训练所述自动驾驶车辆的所述感知网络。3.根据权利要求2所述的方法，其中，在所述(c)中：所述车载主动学习设备执行以下过程中的至少一个：(i)在所述步骤(c1)中，当采样所述特定帧时，参考所述场景代码仅选择多数类别中的一部分且对于少数类别利用尽可能多的数据进行欠采样，或者进行生成与多数类别的数量相同的少数类别的副本的数据的过采样以生成所述学习数据并训练所述感知网络的过程，(ii)在所述步骤(c2)中，当利用所述学习数据训练所述感知网络时，(ii
‑
1)通过权重均衡生成关于对应于所述场景代码的所述学习数据的权重均衡损失，并(ii
‑
2)通过利用所述权重均衡损失的反向传播训练所述感知网络的过程。4.根据权利要求1所述的方法，其中，在所述(a)中：所述车载主动学习设备使所述场景代码生成模块(i)通过基于深度学习的场景分类器对每一个所述帧进行学习运算以将每一个所述帧的场景分类为行驶环境和行驶道路的类别，以此生成每一个所述帧的场景类别代码，(ii)使通过行驶事件检测模块从所述帧和每一个所述帧的所述感测信息检测所述自动驾驶车辆行驶的过程中发生的行驶事件生成行驶事件代码，(iii)利用每一个所述帧的所述场景类别代码和所述行驶事件代码生成对应于每一个所述帧的场景代码。5.根据权利要求4所述的方法，其中：所述车载主动学习设备使所述场景代码生成模块(i)通过所述行驶事件检测模块检测所述帧中的场景变化生成基于帧的事件代码，并(ii)通过检测所述感测信息中的所述自动驾驶车辆的操作状态生成基于车辆的事件代码，以此生成所述行驶事件代码。6.根据权利要求1所述的方法，其中，在所述(b)中：所述车载主动学习设备参考所述场景代码将在事故事件未从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。
7.根据权利要求1所述的方法，其中，在所述(b)中：所述车载主动学习设备参考所述场景代码将在正常事件从碰撞区域中检测出对象的帧选为所述特定帧，其中，所述碰撞区域是所述自动驾驶车辆与对象碰撞或预测到会发生碰撞时，所述帧中被预测对象所在的区域。8.根据权利要求1所述的方法，其中，在所述(b)中：所述车载主动学习设备将存在所述对象检测信息中关于对象的置信度分数低于或等于预设值的对象的帧选为所述特定帧。9.根据权利要求1所述的方法，其中，在所述(b)中：所述车载主动学习设备参考所述场景代码，将在稀有行驶环境中检测出行人的帧选为所述特定帧。10.一种车载主动学习设备，其用于训练自动驾驶车辆的感知网络，其中，包括：存储器，其中存储指令，所述指令用于针对从自动驾驶车辆获取的视频中连续的帧执行车载主动学习；以及处理器，其根据存储于所述存储器中的指令执行车载主动学习操作，所述处理...

【专利技术属性】
技术研发人员：诸泓模，康凤男，金镕重，权成颜，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：