机器学习的可解释对象检测系统和方法技术方案

一种检测路边对象的方法包括从安装在车辆上的传感器接收数据帧。接收对应于车辆位置的位置数据。从数据库中检索感兴趣的对象数据。处理传感器数据帧和感兴趣对象数据，以确定传感器数据帧中的感兴趣区域。使用机器学习对象检测来处理对应于感兴趣区域的传感器数据帧的一部分，以识别第一感兴趣对象。使用计算机视觉方法处理对应于感兴趣区域的传感器数据帧的部分，以检测预期感兴趣对象的特征，并在检测到预期感兴趣对象的特征时将检测的感兴趣对象识别为解释的。对应于解释的检测到的感兴趣对象的解释的感兴趣对象数据被输出到车辆的导航系统。到车辆的导航系统。到车辆的导航系统。

【技术实现步骤摘要】
【国外来华专利技术】机器学习的可解释对象检测系统和方法
[0001]相关申请的交叉引用
[0002]本公开要求2021年2月1日提交的美国临时申请号为63/144,251的美国临时申请的优先权，该申请通过引用整体并入于本文。

技术介绍

[0003]沿着铁路轨道行驶的铁路车辆通过车载传感器的组合获得关于周围环境的信息。对象检测系统处理传感器数据并输出对应于检测到的路旁对象的对象检测数据。当路旁对象的检测被用于控制轨道车辆时，对象检测系统需要是安全关键的，设计成满足严格的安全要求。安全关键系统是指其故障或失灵可能导致人员死亡或重伤、设备/财产损失或严重损坏或环境损害的系统。
[0004]安全关键的对象检测系统要求对象检测可以用人类可理解的术语来解释，允许人类检查对象检测系统的过程，以识别对象的错误识别、未检测到已知对象和其他故障源的情况。这一要求已经成为设计安全关键的神经网络对象检测系统的障碍，因为当使用神经网络对象检测进行对象检测时，对象检测背后的原因无法用人类可理解的术语来解释。
附图说明
[0005]图1是根据一些实施例的对象检测系统实现的俯视图。
[0006]图2是根据一个实施例的对象检测系统的框图。
[0007]图3是根据一个实施例为对象检测而处理的相机数据帧的表示。
[0008]图4是根据一些实施例的基于相机图像的可解释检测的示例。
[0009]图5是根据一些实施例的对象检测方法的流程图。
[0010]图6是可结合一个或多个实施例使用的基于处理器的系统的高级框图。
具体实施方式
[0011]以下公开提供了许多不同的实施例或示例，用于实现所提供主题的不同特征。部件、值、操作、材料、装置等的具体示例在下面被描述以简化本公开。当然，这些仅仅是示例，并不旨在进行限制。其他部件、值、操作、材料、装置等都是可以预期的。例如，在下面的描述中，在第二特征上或上方形成第一特征可以包括第一和第二特征直接接触形成的实施例，并且还可以包括附加特征可以形成在第一和第二特征之间的实施例，使得第一和第二特征可以不直接接触。此外，本公开可以在各种示例中重复参考数字和/或字母。这种重复是为了简单和清楚的目的，其本身并不规定所讨论的各种实施例和/或配置之间的关系。
[0012]此外，为了便于描述，这里可以使用空间上相对的术语，例如“下面”、“下方”、“下部”、“上方”、“上部”等，来描述一个元件或特征与图中所示的另一个元件或特征的关系。除了图中所示的方位之外，空间相对术语旨在涵盖使用或操作中设备的不同方位。该装置可以以其他方式定向(旋转90度或其他方向)，并且这里使用的空间相对描述符同样可以被相应地解释。
[0013]图1是根据一个实施例的对象检测系统实现100的俯视图。沿着运输网络上的约束路径102(也称为铁轨、导轨或导轨的一部分)移动的车辆104利用定位系统105以及导航和控制系统107导航到目的地。为了安全地导航，导航和控制系统107从对象检测系统106接收关于在由具有视场(FOV)110的车载传感器108收集的数据帧中检测到的感兴趣对象(OOI)112的信息。因为对象检测(object detection)是安全关键的应用，所以要求对象检测系统可靠地提供铁轨侧OOI的可解释的检测，例如通常沿着铁轨和铁轨周围放置或发现的对象。定位系统105在非安全关键的系统中是可选的，即，对于在没有定位信息的情况下操作的系统，其监控可解释的OOI检测。
[0014]安全关键应用是指其故障或失灵可能导致人员死亡或重伤、设备/财产损失或严重损坏或环境损害的应用。安全关键应用或系统被评定为安全完整性等级(SIL)4。对于等级为SIL 4的系统，系统需要具有可证明的按需可靠性，以及检测和应对可能危及系统安全特性的故障的技术和测量。SIL 4基于国际电工委员会(IEC)的IEC 61508标准和EN标准50126和50129。SIL 4要求每小时的失败概率范围为10
‑8到10
‑9。不需要满足安全完整性等级标准的安全系统被称为非SIL。
[0015]在一些实施例中，车辆104是火车、单轨、磁引导车辆、汽车或其他机动车辆、有轨车、船只、航空交通工具、漫游车、无人驾驶飞机或其他合适的车辆。在一些实施例中，车辆104是运输人员和/或货物的机器。在一些实施例中，交通工具104包括货车、自行车、机动车辆(摩托车、汽车、卡车和公共汽车)、轨道车辆(火车、电车)、水上车辆(轮船、船)、水陆两用车辆(螺旋推进车辆、气垫船)、飞机(飞机、直升机)和宇宙飞船。陆地车辆根据用于向地面施加转向和驱动力的方式大致分类为：轮式、履带式、履带式或雪橇式，如ISO 3833
‑
1977标准中详述的那样。车辆104被限制到受约束的路径，例如受约束的路径102。在一些实施例中，车辆104是自动车辆。自动驾驶车辆使用机电一体化、人工智能和/或多智能体系统来帮助车辆操作员。
[0016]在一些实施例中，约束路径102是轨道、铁路、公路、电缆、一系列反射器、一系列标志、可见或不可见路径、投影路径、激光引导路径、全球定位系统(GPS)引导路径、镶嵌有对象的路径或其他合适形式的引导、路径、轨道、道路等，车辆在其上、上方、下方、旁边或沿着其行进。约束路径102可以是火车轨道，尽管它也可以是其他形式的导轨，例如铁轨、混凝土高架桥、单轨或车道或轨道的所有变化都被限制在被称为道岔的固定位置的道路。
[0017]约束路径102是铁路或铁路上的轨道，也称为永久路径(例如，约束路径)。约束路径102是由铁轨、扣件、铁路枕木和道碴(或平板轨道)加上下面的路基组成的结构。约束路径通过为车轮提供可靠的滚动表面，使火车能够移动。为清楚起见，约束路径被称为铁道轨道、铁路轨道或导轨。然而，约束路径不限于铁路，并且在一些实施例中，约束路径还包括限于预定或预编程路线的任何自动车辆(例如，沿着输入或预定路线移动的自动驾驶汽车或卡车)。
[0018]铁路侧OOI 112包括例如铁路信号、标志、平交道口、铁路道岔、自然地标、装载/卸载平台和其他适当的对象。
[0019]在本公开中，数据帧指的是由车载传感器108在给定时刻输出的一组数据和/或元数据。数据帧是由车载传感器108在该时刻之前的时间段内执行的测量和处理操作的输出。例如，单个相机图像或单个激光雷达点云被视为单个数据帧。
[0020]对象检测是一种计算机图像处理技术，用于识别和定位数据帧中的对象。对象检测用于识别场景中的OOI 112，确定并跟踪OOI 112的精确位置，并准确标记OOI 112的类型。
[0021]图2是根据实施例的对象检测系统200(例如，对象检测系统106(图1)的实施例)的框图。对象检测系统200连接到车载传感器202(例如，传感器108的实施例)。车载传感器202包括相机(或多个相机)204、激光雷达传感器(或多个传感器)206、雷达(或多个雷达)208和/或其他传感器系统和设备210。对象检测系统200从车载传感器202接收数本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种检测路边对象的方法，包括：从安装在车辆上的传感器接收对应于第一时间的传感器数据帧，接收对应于所述车辆在所述第一时间的第一位置的位置数据；从数据库中检索感兴趣对象数据，其中所述感兴趣对象数据对应于所述传感器在所述车辆的所述第一位置可检测的预期感兴趣对象；处理所述传感器数据帧和所述感兴趣对象数据，以确定所述传感器数据帧的至少一帧中的感兴趣区域；使用机器学习对象检测来处理对应于所述感兴趣区域的所述传感器数据帧的部分，以识别第一感兴趣对象；使用计算机视觉方法处理对应于所述感兴趣区域的所述传感器数据帧的部分，以检测所述预期感兴趣对象的特征，并在检测到所述预期感兴趣对象的特征时将检测到的感兴趣对象识别为解释的；以及将解释的感兴趣对象数据输出到所述车辆的导航系统，所述解释的感兴趣对象数据对应于解释的检测到的感兴趣对象。2.根据权利要求1所述的方法，还包括接收和处理对应于一系列时间的传感器数据帧，以生成一系列解释的感兴趣对象数据。3.根据权利要求2所述的方法，其中，比较所述一系列解释的感兴趣对象，以验证所述解释的感兴趣对象。4.根据权利要求1所述的方法，其中所述机器学习对象检测是深度卷积神经网络。5.根据权利要求3所述的方法，还包括将验证的解释的感兴趣对象与预期的感兴趣对象数据进行比较，以识别检测失败。6.一种解释的机器学习对象检测系统，包括：输入模块，所述输入模块连接到传感器和数据服务器，其中所述输入模块从所述传感器接收对应于第一时间的数据帧，并且其中所述输入模块接收与所述传感器位置和从所述传感器位置可检测的感兴趣对象相对应的数据；感兴趣区域模块，所述感兴趣区域模块连接到所述输入模块，其中所述感兴趣区域模块使用感兴趣对象数据确定所述数据帧的感兴趣区域；机器学习对象检测模块，所述机器学习对象检测模块连接到所述感兴趣区域模块，其中所述机器学习对象检测模块使用所述数据帧的所述感兴趣区域来检测所述数据帧的所述感兴趣区域中的对象；以及可解释检测模块，所述可解释检测模块连接到所述机器学习检测模块，其中所述可解释检测模块使用其中对象已经检测到的所述数据帧的所述感兴趣区域，以使用计算机视觉处理来识别感兴趣的对象，并输出解释的检测对象数据。7.根据权利要求6所述的系统，其中，所述传感器是相机、雷达或激光雷达中的至少一者。8.根据权利要求6所述的系统，还包括跟踪模块，所述跟踪模块连接到所述可解释检测模块，并接收解释的检测对象数据，所述跟踪模块将解释的检测对象数据存储在存储器中，并验证解释的检测对象。9.根据权利要求8所述的系统，还包括跟踪监督模块，所述跟踪监督模块连接到所述跟
踪模块并接收验证的解释的检测对象数据，所述跟踪监督模块将所述验证的解释的检测对象数据与预期的感兴趣对象数据进行比较以识别检测失败。10.根据权利要求6所述的系统，还包括检测监督模块，所述检测监督模块连接到所述机器学习模块，所述检...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：地面运输系统加拿大公司，
类型：发明
国别省市：