稀有实例分类器制造技术

在一些实施方式中，自动或半自动车辆的图像分类系统能够通过减少对被认为是罕见对象的对象的重复不正确分类来改善多对象分类。该系统可以包括普通实例分类器和稀有实例分类器，其中普通实例分类器被训练来将一般对象(例如，常见对象和罕见对象)标识和识别为属于指定对象类别，稀有实例分类器被训练来计算表示输入图像由普通实例分类器正确分类的可能性的一个或多个稀有度分数。稀有实例分类器的输出可以用来调整普通实例分类器的分类输出，使得输入图像被不正确分类的可能性降低。

【技术实现步骤摘要】
【国外来华专利技术】稀有实例分类器
本说明书涉及自动车辆。
技术介绍
自动车辆包括无人驾驶汽车、船只和飞机。自动车辆使用各种车载传感器和计算机系统来检测邻近对象，并使用这样的检测来做出控制和导航决策。一些自动车辆具有实施用于图像内的对象分类的神经网络的计算机系统。神经网络，或简称为网络，是采用多个层的操作从一个或多个输入预测一个或多个输出的机器学习模型。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每个层的输出被用作网络中的另一层(例如，下一个隐藏层或输出层)的输入。神经网络的每个层指定了要对层的输入执行的一个或多个变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或多个输入，并生成由另一神经网络层接收的输出。通常，每个神经元从其他神经元接收输入，并且每个神经元向一个或多个其他神经元提供输出。神经网络的架构指定了什么层被包括在网络中及其属性，以及如何连接网络的每个层的神经元。换句话说，该架构指定了哪些层将它们的输出作为输入提供给哪些其他层，以及如何提供输出。每个层的变换操作由安装了实施变换操作的软件模块的计算机执行。因此，被描述为执行操作的层意味着实施层的变换操作的计算机执行操作。每个层使用层的参数集合的当前值来生成一个或多个输出。训练网络因此包括对输入连续地执行正推法(forwardpass)，计算梯度值，以及更新每个层的参数集合的当前值。一旦神经网络被训练，最终的参数集合就可以用来在产生式系统(productionsystem)中进行预测。卷积神经网络包括卷积神经网络层。卷积神经网络层具有利用输入数据中的空间局部相关性的神经元连通性。为此，卷积神经网络层具有稀疏连通性，其中一个卷积层中的神经元仅从前一个神经网络层中的小的神经元子集接收输入。神经元从其接收它的输入的其他神经元定义了该神经元的感受野(receptivefield)。卷积神经网络层具有由层的参数定义的一个或多个滤波器。卷积神经网络层通过执行每个神经元滤波器与层输入的卷积来生成输出。此外，每个卷积网络层可以具有三维排列的神经元，具有深度、宽度和高度维度。宽度和高度维度对应于层输入的二维特征。深度维度包括神经元的一个或多个深度子层。一般地，卷积神经网络采用权重共享，使得深度子层中的所有神经元具有相同的权重。这在检测输入中的特征时提供了平移不变性。卷积神经网络还可以包括完全连接层和其他种类的层。完全连接层中的神经元从前一个神经网络层中的每个神经元接收输入。自动和半自动车辆系统可以使用对象检测预测用于做出驾驶决策。自动车辆系统可以使用人类编程逻辑进行对象检测预测。人类编程逻辑精确指定了车载传感器的输出应该如何被组合、变换和加权，以便计算全对象预测。
技术实现思路
在一些实施方式中，自动或半自动车辆的图像分类系统能够通过减少对被认为是罕见(rarelyoccurring)对象的对象的重复不正确分类来改善多对象分类。该系统可以包括普通实例分类器和稀有实例分类器，其中该普通实例分类器被训练来将一般对象(例如，常见(commonlyoccurring)对象和罕见对象)标识和识别为属于指定对象类别，该稀有实例分类器被训练来计算表示输入图像由普通实例分类器正确分类的可能性的一个或多个稀有度分数。稀有实例分类器的输出可以用来调整普通实例分类器的分类输出，使得输入图像被不正确分类的可能性降低。可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。自动或半自动车辆系统可以使用完全训练的分类器子系统来快速减少罕见对象的重复错误，而无需重新训练分类器。系统可以使用技术来提高将图像分类为包括某些对象的准确性。系统还可以通过特定的分类器子系统来处理输入图像，以减少生成准确的对象预测所需的计算资源。此外，系统可以并行应用普通实例分类器和稀有实例分类器，以提高误分类的罕见对象的图像分类性能。例如，对图像包括由普通实例分类器频繁误分类的稀有对象或另一种对象的图像的高可能性的确定可以被用作负反馈，以减少图像分类系统对图像的正误识(falsepositive)分类。系统还可以被应用于处理来自不同种类的传感器(例如，LIDAR(激光雷达)和摄像机)的数据，并且可以组合来自不同传感器的数据以提高总体图像分类性能。在一个一般方面，一种方法包括：接收输入图像；使用普通实例神经网络处理输入图像，其中，普通实例神经网络被配置为处理输入图像以生成普通实例输出，其中该普通实例输出包括与一个或多个第一对象类别中的每一个相对应的各自的第一对象分数，每个第一对象分数表示输入图像包括属于对应的第一对象类别的对象的图像的可能性；使用稀有实例神经网络处理输入图像，其中，稀有实例神经网络被配置为处理输入图像以生成包括稀有度分数的稀有实例输出，其中该稀有度分数表示输入图像将被普通实例神经网络不正确分类的可能性；在使用稀有度分数对输入图像进行分类时，确定要被分配给一个或多个各自的第一对象分数的权重；以及根据所确定的权重对输入图像进行分类。一个或多个实施方式可以包括以下可选特征。例如，在一些实施方式中，稀有实例神经网络已经在由普通实例神经网络误分类的训练图像上被训练。在一些实施方式中，稀有实例神经网络已经在用来训练普通实例神经网络的图像中罕见的对象类型的图像上被训练。在一些实施方式中，稀有实例输出还包括与一个或多个第二对象类别中的每一个相对应的各自的第二对象分数，每个第二对象分数表示输入图像包括属于对应的第二对象类别的对象的图像的可能性；并且该方法还包括以下操作：在使用稀有度分数对输入图像进行分类时，确定用以分配一个或多个第二对象分数的权重。在一些实施方式中，第二对象类别包括第一对象类别中的一个或多个。在一些实施方式中，确定用以分配一个或多个第二对象分数的权重包括使用稀有度分数作为第二对象分数的权重。在一些实施方式中，确定用以分配一个或多个第二对象分数和一个或多个第一对象分数的权重包括：确定稀有度分数不满足预定阈值，并且作为响应，在对输入图像进行分类时减小分配给一个或多个各自的第二对象分数的权重。在一些实施方式中，确定用以分配一个或多个第二对象分数和一个或多个第一对象分数的权重包括：确定稀有度分数满足预定阈值，并且响应于确定稀有度分数满足预定阈值，在对输入图像进行分类时减小分配给一个或多个各自的第一对象分数的权重。在一些实施方式中，减小分配给一个或多个各自的第一对象分数的权重包括将权重分配给指示在对输入图像进行分类时不使用第一对象分数的值。在一些实施方式中，对输入图像进行分类包括：使用组合神经网络处理普通实例输出和稀有实例输出，其中，组合神经网络被配置为计算与一个或多个第一对象类别中的每一个相对应的各自的第三对象分数，每个第三对象分数基于所确定的分配给一个或多个各自的第一对象分数的权重和所确定的分配给一个或多个各自的第二对象分数的权重而计算；以及基于各自的第三对象分数值对输入图像进行分类。在一些实施方式中，确定本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收输入图像；/n使用普通实例神经网络处理输入图像，其中，所述普通实例神经网络被配置为处理输入图像以生成普通实例输出，所述普通实例输出包括与一个或多个第一对象类别中的每一个相对应的各自的第一对象分数，每个第一对象分数表示输入图像包括属于对应的第一对象类别的对象的图像的可能性；/n使用稀有实例神经网络处理输入图像，其中，所述稀有实例神经网络被配置为处理输入图像以生成包括稀有度分数的稀有实例输出，所述稀有度分数表示输入图像将被普通实例神经网络不正确分类的可能性；/n在使用稀有度分数对输入图像进行分类时，确定要被分配给一个或多个各自的第一对象分数的权重；以及/n根据所确定的权重对输入图像进行分类。/n

【技术特征摘要】
【国外来华专利技术】20170622 US 15/630,2751.一种方法，包括：
接收输入图像；
使用普通实例神经网络处理输入图像，其中，所述普通实例神经网络被配置为处理输入图像以生成普通实例输出，所述普通实例输出包括与一个或多个第一对象类别中的每一个相对应的各自的第一对象分数，每个第一对象分数表示输入图像包括属于对应的第一对象类别的对象的图像的可能性；
使用稀有实例神经网络处理输入图像，其中，所述稀有实例神经网络被配置为处理输入图像以生成包括稀有度分数的稀有实例输出，所述稀有度分数表示输入图像将被普通实例神经网络不正确分类的可能性；
在使用稀有度分数对输入图像进行分类时，确定要被分配给一个或多个各自的第一对象分数的权重；以及
根据所确定的权重对输入图像进行分类。


2.根据权利要求1所述的方法，其中，所述稀有实例神经网络具有比所述普通实例神经网络更少的参数。


3.根据权利要求1或2中任一项所述的方法，其中，所述稀有实例神经网络已经在由普通实例神经网络误分类的训练图像上被训练。


4.根据权利要求1-3中任一项所述的方法，其中，所述稀有实例神经网络已经在用来训练普通实例神经网络的图像中罕见的对象类型的图像上被训练。


5.根据权利要求1-4中任一项所述的方法，其中：
所述稀有实例输出还包括与一个或多个第二对象类别中的每一个相对应的各自的第二对象分数，每个第二对象分数表示输入图像包括属于对应的第二对象类别的对象的图像的可能性；并且
该方法还包括在使用稀有度分数对输入图像进行分类时，确定用以分配一个或多个第二对象分数的权重。


6.根据权利要求5所述的方法，其中，第二对象类别包括第一对象类别中的一个或多个。


7.根据权利要求5或6中任一项所述的方法，其中，确定用以分配一个或多个第二对象分数的权重包括使用稀有度分数作为第二对象分数的权重。


8.根据权利要求5或6中任一项所述的方法，其...

【专利技术属性】
技术研发人员：WY罗，A奥加尔，高阳，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：美国;US