提供了一种用于自动驾驶的感知方法，包括：基于第一图像利用第一神经网络获得针对所述第一图像的第一检测结果，其中，所述第一图像是针对目标区域获取的；基于所述第一图像利用至少一个第二神经网络获得针对所述第一图像的至少一个第二检测结果，其中，基于所述第一图像生成至少一个额外输入，所述至少一个额外输入中的每个额外输入至少表示所述第一图像中的变化，并且基于所述至少一个额外输入利用所述至少一个第二神经网络获得针对所述第一图像的所述至少一个第二检测结果；和将所述第一检测结果和所述至少一个第二检测结果融合，以获得针对所述第一图像的最终感知结果。这提高了感知的准确性和鲁棒性，从而改善了自动驾驶的安全性。
【技术实现步骤摘要】
本专利技术涉及智慧交通领域，尤其涉及自动驾驶领域。
技术介绍
1、对环境的感知作为在自动驾驶领域中进行车辆定位、制定关于车辆驾驶路径的决策、以及控制车辆来执行该决策的基础，其准确性和鲁棒性相当重要。准确和鲁棒的环境感知可以提高自动驾驶的安全性，相反，则可能导致不可估量的交通事故。
2、随着计算机视觉的发展，神经网络已经被广泛用于环境感知应用中。但是，由于训练数据有限以及训练数据分布的不平衡(长尾问题)，再加上当前神经网络的参数有限，而现实世界中的数据是高维度的，因此，即使将神经网络应用于环境感知，这仍然存在改进的余地。
3、当前为了增加自动驾驶的安全性，通常会添加冗余或者并行神经网络，但是当前添加的冗余或者并行神经网络通常与原神经网络是相似的，导致它们可能在相似的情况下失败(共因失效)，换言之，它们的失败具有高相关性，因此还不能获得满意的效果。
技术实现思路
1、期望提供一种用于自动驾驶的感知方法和设备，其能够提高环境感知的准确性和鲁棒性，进而为安全的自动驾驶提供保障。
2、根据一个方面，提供一种用于自动驾驶的感知方法，包括：基于第一图像利用第一神经网络获得针对所述第一图像的第一检测结果，其中，所述第一图像是针对目标区域获取的；基于所述第一图像利用至少一个第二神经网络获得针对所述第一图像的至少一个第二检测结果，其中，获得所述至少一个第二检测结果包括：基于所述第一图像生成至少一个额外输入，所述至少一个额外输入中的每个额外输入至少表示所述第一图像中的变化，并且基于所述至少一个额外输入利用所述至少一个第二神经网络获得针对所述第一图像的所述至少一个第二检测结果；和将所述第一检测结果和所述至少一个第二检测结果融合，以获得针对所述第一图像的最终感知结果。
3、根据另一个方面，提供一种神经网络的训练方法，所述神经网络用于在自动驾驶中进行感知并且包括第一神经网络、至少一个第二神经网络和融合模块，所述融合模块用于将所述第一神经网络的输出和所述至少一个第二神经网络的输出进行融合以获得所述神经网络的输出，所述训练方法包括：基于多个第一预训练图像和对每个第一预训练图像的对象标注结果对所述第一神经网络进行预训练以得到经预训练的第一神经网络，其中，所述第一神经网络用于基于所述多个第一预训练图像中的每个第一预训练图像获得相应的第一预训练检测结果；和基于多个第二预训练图像和对每个第二预训练图像的前景对象标注结果，对所述至少一个第二神经网络中的每个第二神经网络进行预训练以得到经预训练的至少一个第二神经网络，其中，基于所述每个第二预训练图像生成至少一个额外预训练输入并基于所述至少一个额外预训练输入中的每个额外预训练输入和相应的第二神经网络获得相应的第二预训练检测结果，所述至少一个额外预训练输入至少表示所述第二预训练图像中的变化，所述第一预训练图像和所述第二预训练图像可以是相同或者不同的预训练图像。
4、根据另一个方面，提供一种用于自动驾驶的感知设备，包括：存储器，和处理单元，其用于：基于第一图像利用第一神经网络获得针对所述第一图像的第一检测结果，其中，所述第一图像是针对目标区域获取的；基于所述第一图像利用至少一个第二神经网络获得针对所述第一图像的至少一个第二检测结果，其中，获得所述至少一个第二检测结果包括：基于所述第一图像生成至少一个额外输入，所述至少一个额外输入中的每个额外输入至少表示所述第一图像中的变化，并且基于所述至少一个额外输入利用所述至少一个第二神经网络获得针对所述第一图像的所述至少一个第二检测结果；和将所述第一检测结果和所述至少一个第二检测结果融合，以获得针对所述第一图像的最终感知结果。
5、根据另一个方面，提供一种自动驾驶系统，包括：相机，其用于获取目标区域的第一图像；和根据本专利技术各个实施例所述的用于自动驾驶的感知设备。
6、根据再一个方面，提供一种计算机可读介质，存储计算机程序，所述计算机程序当被处理器执行时，使得所述处理器执行根据本专利技术各个实施例所述的用于自动驾驶的感知方法或者根据本专利技术各个实施例所述的神经网络的训练方法。
7、根据本专利技术的各个方面的各个实施例，在原有的关注输入图像中的对象的检测和分类的神经网络(第一神经网络)的基础上添加关注该输入图像中出现的变化的至少一个并行神经网络(至少一个第二神经网络)，从不同层面对输入图像进行了检测，一方面保留了对输入图像中的背景的敏感性，提供了对输入图像中的变化对象的敏感性，另一方面基于第二神经网络的检测结果能够引入先验知识(例如与分类无关的先验知识)，由此，不仅减少了共因失效，提高了环境感知的准确性、可靠性和鲁棒性，进而提高了自动驾驶的安全性，还增加了感知结果的可解释性。
8、在一些实施例中，不同于原有的第一神经网络关注输入图像中的对象的检测和分类，该至少一个并行神经网络关注对输入图像中的变化对象的检测任务而不涉及分类，即该至少一个并行神经网络检测图像中变化对象的存在，由此，即使在实际应用中输入图像中出现了在训练数据集中未出现的物体或未出现过的类别，例如障碍物或施工区域，这样的神经网络依然能够检测到该物体的存在，并提示存在未知物体；这能够进一步减少在不同的神经网络之间发生共因失效，进而能够进一步提高环境感知的准确性、可靠性和鲁棒性。再者，仅仅在原有神经网络上插入上述并行神经网络即可实现根据本专利技术各个实施例的神经网络结构，在使用中这也是方便的。
本文档来自技高网...
【技术保护点】
1.一种用于自动驾驶的感知方法，包括：
2.根据权利要求1所述的感知方法，其中，
3.根据权利要求1所述的感知方法，其中，获得所述至少一个第二检测结果包括：
4.根据权利要求1所述的感知方法，其中，所述至少一个第二神经网络中的每个第二神经网络包括第二编码器和第二解码器，所述感知方法还包括：
5.根据根据权利要求4所述的感知方法，其中，所述第一神经网络包括第一编码器和第一解码器，所述第一编码器用于基于所述第一图像确定第一特征图，所述第一解码器用于基于所述第一特征图获得所述第一检测结果，其中，所述第一神经网络的所述第一编码器和所述至少一个第二神经网络中的任意一个第二神经网络的所述第二编码器为同一编码器或不同的编码器。
6.根据权利要求1-3中任一项所述的感知方法，其中，所述至少一个额外输入中的每个额外输入表示所述第一图像中的如下至少一种变化：
7.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第一额外输入，所述第一额外输入表示所述第一图像与所述对应的参考图像之间的变化，所述感知方法包括：
>8.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第一额外输入，所述第一额外输入表示所述第一图像与所述对应的参考图像之间的变化，所述感知方法还包括：9.根据权利要求8所述的感知方法，其中，通过使用至少如下算法之一基于所述第一图像和所述对应的参考图像生成所述第一额外输入：
10.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第二额外输入，所述第二额外输入表示所述第一图像中的各个区域之间的变化，所述感知方法还包括：
11.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第三额外输入，所述第三额外输入表示所述第一图像与所述第二图像之间的变化，所述感知方法还包括：
12.根据权利要求1-3中任一项所述的感知方法，其中，所述第一神经网络和所述至少一个第二神经网络中的任意一个第二神经网络的网络结构不同和/或通过不同的训练数据获取。
13.根据权利要求12所述的感知方法，其中，
14.根据权利要求2所述的感知方法，其中，所述第一检测结果至少包括对所述目标区域中的所述对象进行检测的检测结果，并且所述至少一个第二检测结果中的每个第二检测结果包括对所述目标区域中的所述变化对象进行检测的检测结果。
15.根据权利要求14所述的感知方法，其中，所述第一检测结果还包括对所述目标区域中的所述对象进行分类的分类结果。
16.根据权利要求14所述的感知方法，其中，将所述第一检测结果和所述至少一个第二检测结果融合包括：
17.一种神经网络的训练方法，所述神经网络用于在自动驾驶中进行感知并且包括第一神经网络、至少一个第二神经网络和融合模块，所述融合模块用于将所述第一神经网络的输出和所述至少一个第二神经网络的输出进行融合以获得所述神经网络的输出，所述训练方法包括：
18.根据权利要求17所述的训练方法，其中，所述融合模块用于基于有参模型将所述第一神经网络的输出和所述至少一个第二神经网络的输出进行融合，所述训练方法还包括：
19.根据权利要求18所述的训练方法，其中，所述至少一个额外预训练输入中的每个额外预训练输入表示相应的第二预训练图像中的如下至少一种变化：
20.根据权利要求19所述的训练方法，其中，所述至少一个额外预训练输入包括第一额外预训练输入，所述第一额外预训练输入表示相应的第二预训练图像与对应的第二参考图像之间的变化并且用于训练所述至少一个第二神经网络中的特定第二神经网络，所述至少一个第二神经网络中的每个第二神经网络包括第二编码器和第二解码器，对所述特定第二神经网络进行预训练包括：
21.根据权利要求20所述的训练方法，其中，基于多幅第一训练图像和对所述多幅第一训练图像中每幅第一训练图像的对象标注结果以得到经训练的所述神经网络包括：
22.根据权利要求21所述的训练方法，其中，所述多幅第一训练图像和所述对应的第一参考图像通过以下步骤获取：
23.根据权利要求19所述的训练方法，其中，所述第一神经网络包括第一编码器和第一解码器，所述第一编码器用于基于输入图像提取第一特征图，所述第一解码器用于基于所述第一特征图获得第一检测结果，作为所述第一神经网络的输出；
24.根据权利要求18所述的训练方法，其中，所述有参模型包括多层感知机或门控循环单元。
25.一种用于自动驾驶的感知设备，包括：
26.一种自动驾驶系统，包括：
...
【技术特征摘要】
1.一种用于自动驾驶的感知方法，包括：
2.根据权利要求1所述的感知方法，其中，
3.根据权利要求1所述的感知方法，其中，获得所述至少一个第二检测结果包括：
4.根据权利要求1所述的感知方法，其中，所述至少一个第二神经网络中的每个第二神经网络包括第二编码器和第二解码器，所述感知方法还包括：
5.根据根据权利要求4所述的感知方法，其中，所述第一神经网络包括第一编码器和第一解码器，所述第一编码器用于基于所述第一图像确定第一特征图，所述第一解码器用于基于所述第一特征图获得所述第一检测结果，其中，所述第一神经网络的所述第一编码器和所述至少一个第二神经网络中的任意一个第二神经网络的所述第二编码器为同一编码器或不同的编码器。
6.根据权利要求1-3中任一项所述的感知方法，其中，所述至少一个额外输入中的每个额外输入表示所述第一图像中的如下至少一种变化：
7.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第一额外输入，所述第一额外输入表示所述第一图像与所述对应的参考图像之间的变化，所述感知方法包括：
8.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第一额外输入，所述第一额外输入表示所述第一图像与所述对应的参考图像之间的变化，所述感知方法还包括：
9.根据权利要求8所述的感知方法，其中，通过使用至少如下算法之一基于所述第一图像和所述对应的参考图像生成所述第一额外输入：
10.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第二额外输入，所述第二额外输入表示所述第一图像中的各个区域之间的变化，所述感知方法还包括：
11.根据权利要求6所述的感知方法，其中，所述至少一个额外输入包括第三额外输入，所述第三额外输入表示所述第一图像与所述第二图像之间的变化，所述感知方法还包括：
12.根据权利要求1-3中任一项所述的感知方法，其中，所述第一神经网络和所述至少一个第二神经网络中的任意一个第二神经网络的网络结构不同和/或通过不同的训练数据获取。
13.根据权利要求12所述的感知方法，其中，
14.根据权利要求2所述的感知方法，其中，所述第一检测结果至少包括对所述目标区域中的所述对象进行检测的检测结果，并且所述至少一个第二检测结果中的每个第二检测结果包括对所述目标区域中的所述变化对象进行检测的检测结果。
【专利技术属性】
技术研发人员：李昕润，王文夫，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。