用于检测深度神经网络推理质量的系统和方法技术方案

本公开提供了“用于检测深度神经网络推理质量的系统和方法”。本公开总体上涉及用于在不需要供在驾驶员辅助车辆中使用的地面实况信息的情况下的深度神经网络(DNN)的推理质量确定的系统和方法，所述方法包括：从源接收图像帧；将正常推理DNN模型应用于所述图像帧以使用正常推理DNN模型产生具有第一边界框的第一推理；将深度推理DNN模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的推理质量。理质量。理质量。

【技术实现步骤摘要】
用于检测深度神经网络推理质量的系统和方法


[0001]本公开总体上涉及使用深度神经网络的人工智能，并且更具体地涉及用于在没有地面实况信息的情况下使用图像/数据操纵来检测深度神经网络(DNN)推理质量的系统和方法。

技术介绍

[0002]自动驾驶汽车依靠人工智能在几秒钟内进行检测和响应以避免事故。这种人工智能涉及由许多层互连的人工“神经元”组成的深度神经网络(DNN)。训练是通过馈送DNN数据来“教导”DNN对针对自动驾驶车辆或半自主车辆的图像识别执行人工智能以开发用于预测目的的经训练的深度学习模型的过程。误差是训练过程的一部分以加强DNN，直到提高准确性。对于图像，推理过程包括进行预测，以及基于互连的强度执行更新，使得呈现给DNN的下一个相同类型的图像更可能更准确地执行。一旦DNN被训练，模型就可以通过基于新图像的推理进行准确的预测。推理是使用经训练的DNN基于前所未见的图像进行预测的过程。
[0003]典型的DNN推理质量测量很难获得，因为典型的DNN需要大量的地面实况信息。
[0004]期望提供解决对用于DNN质量测量的地面实况信息的需求的解决方案。

技术实现思路

[0005]就总体概述而言，本公开总体上涉及用于神经网络的系统和方法。更具体地，本公开涉及提供深度神经网络并确定对不同的自主和半自主车辆操纵和驾驶(诸如代客泊车、自动泊车、挂车倒车辅助、挂车停放、收集数据、处理和映射)的应用有用的推理质量。
[0006]神经网络数据可以通过网络接收，诸如“空中下载”(“OTA”)型数据，或者使用车辆上的传感器和相机硬件来收集。图像的预测质量和推理质量不能总是通过地面实况数据来确认。此外，当车辆移动时，无法在实时场景中检索真实的地面实况数据。因此，本文公开了使用神经网络的图像预测的改进。
[0007]在一个或多个实施例中，一种用于深度神经网络(DNN)的推理质量确定的方法包括：从源接收图像帧；将正常推理DNN模型应用于所述图像帧以使用正常推理DNN模型产生具有第一边界框的第一推理；将深度推理DNN模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的推理质量。
[0008]在一个或多个实施例中，将所述深度推理DNN模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括将至少四个滤波器应用于所述图像帧以产生作为所述多个边界框的至少四个附加边界框，所述四个滤波器至少包括缩放、图像增亮、图像锐化和超分辨率滤波器。
[0009]在一个或多个实施例中，所述应用所述深度推理DNN模型包括应用具有深度主干架构的深度推理DNN模型。
[0010]在一个或多个实施例中，将所述深度推理DNN模型应用于所述图像帧的所述多个
滤波版本以产生具有所述多个边界框的所述多个深度推理包括应用所述深度推理DNN模型以产生具有所述多个边界框的所述多个深度推理，所述多个边界框包括识别所述多个边界框的拐角的多个x和y坐标以及多个边界框区域。
[0011]在一个或多个实施例中，比较所述多个边界框以识别所述聚类条件包括应用聚类技术诸如应用K均值聚类、基于密度的空间聚类(DBSCAN)、高斯混合建模类型聚类中的一者或多者以确定所述聚类条件。
[0012]在一个或多个实施例中，根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的所述推理质量包括确定所述聚类条件是收敛，使得单聚类条件指示正向推理质量。
[0013]在一个或多个实施例中，根据聚类条件确定正常推理DNN模型的图像帧的推理质量包括确定所述聚类条件是发散，使得多聚类条件指示较差的推理质量，其包括当所述聚类条件指示所述较差的推理质量时手动注释所述图像帧，以及从车辆传输所述图像帧以实现所述DNN模型的空中下载更新。
[0014]在一个或多个实施例中，所述方法还包括迭代地重复所述使用来自所述源的第二图像帧确定所述推理DNN模型的所述图像帧的所述推理质量。
[0015]在其他实施例中，一种系统和驾驶员辅助车辆包括处理器和耦接到所述处理器的存储器，所述存储器存储指令，其中所述处理器执行所述指令以：将正常推理DNN模型应用于所述图像帧以产生具有第一边界框的第一推理；将非常深度的推理DNN模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及识别具有第一边界框的多个边界框之间的第二聚类条件以确定所述正常推理DNN模型的所述图像帧的推理质量。
[0016]在一个或多个实施例中，如果正常推理DNN模型的图像帧的推理质量较差，则通过网络传输图像帧以实现对正常推理DNN模型的重新训练。例如，可以经由工具手动/自动地注释图像数据，然后将其用于重新训练正常DNN模型。
[0017]在一个或多个实施例中，独立于地面实况信息执行对图像帧的推理质量的确定。
附图说明
[0018]下面参考附图阐述具体实施方式。使用相同的附图标记可指示相似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
[0019]图1示出了根据本公开的实施例的适用于神经网络实现方式的示例性系统。
[0020]图2示出了根据本公开的实施例的具有可以包括在经由网络或云可访问的服务器中的一些示例性功能框的网络系统。
[0021]图3示出了根据本公开的实施例的方法的过程图。
[0022]图4示出了根据本公开的实施例的样本推理神经网络模型。
[0023]图5示出了根据本公开的实施例的具有边界区域和坐标的样本边界框。
[0024]图6示出了根据本公开的实施例的将聚类过程应用于边界框坐标的结果。
[0025]图7示出了根据本公开的实施例的应用聚类过程的边界框区域重叠结果。
[0026]图8示出了根据本公开的实施例的示出了方法的流程图。
具体实施方式
[0027]下文将参考附图更全面地描述本公开，其中示出了本公开的示例实施例。然而，本公开可以以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。以下描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应理解，替代实现方式可以以任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。此外，尽管已经描述了具体的装置特性，但是本公开的实施例可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于深度神经网络(DNN)的推理质量确定的方法，其包括：从源接收图像帧；将正常推理DNN模型应用于所述图像帧以使用正常推理DNN模型产生具有第一边界框的第一推理；将深度推理DNN模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的推理质量。2.如权利要求1所述的方法，其中所述将所述深度推理DNN模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括：将至少三个滤波器应用于所述图像帧以产生作为所述多个边界框的至少三个附加边界框，所述三个滤波器包括缩放、图像增亮、图像锐化和超分辨率滤波器中的三者或更多者。3.如权利要求1所述的方法，其中所述应用所述深度推理DNN模型包括应用具有深度主干架构的深度推理DNN模型。4.如权利要求1所述的方法，其中所述将所述深度推理DNN模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括：应用所述深度推理DNN模型产生具有所述多个边界框的所述多个深度推理，所述多个边界框包括识别所述多个边界框的拐角的多个x和y坐标以及多个边界框区域。5.如权利要求1所述的方法，其中所述比较所述多个边界框以识别所述聚类条件包括：应用K均值聚类、基于密度的空间聚类(DBSCAN)、高斯混合建模类型聚类中的一者或多者以确定所述聚类条件。6.如权利要求1所述的方法，其中所述根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的所述推理质量包括：确定所述聚类条件是收敛，使得单聚类条件指示正向推理质量。7.如权利要求1所述的方法，其中所述根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的所述推理质量包括：确定所述聚类条件是发散，使得多聚类条件指示较差的推理质量。8.如权利要求7所述的方法，其还包括：当所...

【专利技术属性】
技术研发人员：古吉特，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：