用于深度学习的传感器融合感兴趣区域识别制造技术

本公开提供“用于深度学习的传感器融合感兴趣区域识别”。执行传感器融合以进行高效深度学习处理。从图像传感器接收相机图像并且从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像。基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域。利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象。将所述对象放置在所述交通工具的就座区中。的就座区中。的就座区中。

【技术实现步骤摘要】
用于深度学习的传感器融合感兴趣区域识别


[0001]本公开的各方面涉及使用传感器融合来构建活动的感兴趣区域以进行深度学习模型的高效处理。

技术介绍

[0002]在计算机视觉领域，深度学习模型可能优于其他机器学习应用。然而，由于图形处理单元(GPU)负载量和要对图像数据执行的计算量，此类模型在计算上可能是昂贵的。降低图像的分辨率可减少计算时间，但模型的性能也对应地降低。

技术实现思路

[0003]在一个或多个说明性示例中，提供了一种用于执行传感器融合以进行高效深度学习处理的系统。交通工具具有多个就座区。所述交通工具的计算装置被编程为从图像传感器接收相机图像并从一个或多个补充传感器接收补充传感器数据；基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域；利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象；以及将所述对象放置在所述交通工具的所述就座区中。
[0004]在一个或多个说明性示例中，执行一种用于传感器融合的方法以进行高效深度学习处理。从图像传感器接收相机图像并且从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像。基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域。利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象。将所述对象放置在所述交通工具的就座区中。
[0005]在一个或多个说明性示例中，一种非暂时性计算机可读介质包括用于执行传感器融合以进行高效深度学习处理的指令，所述指令在被计算装置执行时致使所述计算装置执行操作，所述操作包括：从图像传感器接收相机图像并从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像；基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域；利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象；以及将所述对象放置在所述交通工具的就座区中。
附图说明
[0006]图1示出了包括用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的交通工具的示例系统；
[0007]图2示出了使用相机
‑
激活的感兴趣区域的后期传感器融合的对象检测算法的第一数据流；
[0008]图3示出了使用相机
‑
激活的感兴趣区域的前期传感器融合的对象检测算法的第二数据流；
[0009]图4示出了使用相机图像和补充传感器数据的多线程混合融合的对象检测算法的第三数据流；
[0010]图5示出了用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的示例过程；并且
[0011]图6示出了用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的计算装置的示例。
具体实施方式
[0012]本文描述了本公开的实施例。然而，应理解，所公开的实施例仅仅是示例并且其他实施例可呈现各种和替代形式。附图不一定按比例绘制；一些特征可能被放大或最小化以示出特定部件的细节。因此，本文中所公开的具体结构细节和功能细节不应被解释为限制性的，而仅应解释为用于教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解，参考附图中的任一者示出和描述的各种特征可与一个或多个其他附图中示出的特征组合以产生未明确地示出或描述的实施例。所示特征的组合提供用于典型应用的代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改可能是特定应用所期望的。
[0013]可能期望内部感测特征在更小的GPU或加速器上开发，同时具有与在更强大的GPU上运行的相同的性能。为了在不降低图像分辨率和模型的性能的情况下这样做，可通过使用互补传感器和算法生成用于模型的感兴趣区域来减少执行深度学习模型的计算时间。互补传感器(诸如无线电检测和测距(雷达)传感器)在定位对象方面可以是稳健的并且可用于在遮挡状况下提供检测，可用于生成舱室中的感兴趣区域。这些感兴趣区域可用于集中模型的操作，从而减少GPU使用。使用该模型，可将对象识别为在交通工具内的各种感兴趣区域内。这个识别对象的位置的过程可被称为放置所识别的对象。例如，可将人或物放置在交通工具的就座位置内。
[0014]图1示出了包括用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的交通工具102的示例系统100。交通工具102可包括被配置为向交通工具102提供计算服务的计算系统104。交通工具102还可包括被配置为捕获交通工具102的舱室内部的图像的一个或多个二维(2D)图像传感器106。交通工具102还可包括用于捕获交通工具102的舱室的三维(3D)信息的附加互补传感器，诸如雷达传感器108和/或无线收发器110。如本文详细地解释，来自2D图像传感器106和互补传感器的数据可用于构建感兴趣的区域，以通过对象检测算法112处理来自2D图像传感器106的图像。
[0015]交通工具102可包括各种类型的汽车、跨界多用途交通工具(CUV)、运动型多用途交通工具(SUV)、卡车、休闲交通工具(RV)、船、飞机或用于运输人或货物的其他移动机器。在许多情况下，交通工具102可由内燃发动机提供动力。作为另一种可能性，交通工具102可以是由内燃发动机和一个或多个电动马达两者提供动力的混合动力电动交通工具，诸如串
联混合动力电动交通工具、并联混合动力电动交通工具或并联/串联混合动力电动交通工具。由于交通工具102的类型和配置可变化，因此交通工具102的能力可对应地变化。作为一些其他可能性，交通工具102在载客量、牵引能力和容量以及存储量方面可具有不同能力。
[0016]交通工具102内部可被分成多个区，其中每个区都与交通工具102内部内的就座位置相关联。例如，所示交通工具102的前排可包括与驾驶员就座位置相关联的第一就座区和与前排乘客位置相关联的第二就座区。所示交通工具102的第二排可包括与驾驶员侧第二排就座位置相关联的第三就座区和与乘客侧第二排就座位置相关联的第四就座区。所示交通工具102的第三排可包括与驾驶员侧第三排就座位置相关联的第五就座区和与乘客侧第三排就座位置相关联的第六就座区。区的数量和布置的变化是可能的。作为一些其他可能性，替代的第二排可包括三个就座区，或者交通工具102可包括更多或更少的排。
[0017]计算系统104可被配置为执行关于监测交通工具102的舱室的各种任务。例如，计算系统104可执行占用检测以确定交通工具102的哪些就座区被占用。如果人或其他对象被识别为在某些就座区内，则这可被称为将那些人或对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于执行传感器融合以进行高效深度学习处理的系统，所述系统包括：具有多个就座区的交通工具的计算装置，所述计算装置被编程为从图像传感器接收相机图像并从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括所述交通工具的舱室的成像；基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域；利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象；以及将所述对象放置在所述交通工具的所述就座区中。2.如权利要求1所述的系统，其中所述计算装置还被编程为利用感兴趣区域定位器来根据所述相机图像确定所述相机图像中的所述感兴趣区域。3.如权利要求2所述的系统，其中所述计算装置还被编程为：利用占用检测器来识别所述补充传感器数据内的感兴趣位置的三维(3D)检测；利用检测融合部件来基于加权函数将二维(2D)对象检测和所述3D检测融合成融合的检测；以及使用所述融合的检测来执行座椅检测。4.如权利要求1所述的系统，其中所述计算装置还被编程为利用激活的感兴趣区域定位器来根据所述补充传感器数据确定所述相机图像中的所述感兴趣区域。5.如权利要求4所述的系统，其中所述补充传感器数据包括指示所述交通工具内的对象的运动的雷达传感器数据。6.如权利要求4所述的系统，其中所述补充传感器数据包括指示所述交通工具中的移动装置的位置的无线收发器数据。7.如权利要求1所述的系统，其中所述计算装置还被编程为：利用未激活的感兴趣区域定位器来根据所述相机图像确定所述相机图像中的所述感兴趣区域；利用激活的感兴趣区域定位器来根据所述补充传感器数据确定所述相机图像中的所述感兴趣区域；以及利用所述机器学习模型对使用所述未激活的感兴趣区域定位器和所述激活的感兴趣区域定位器两者确定的所述感兴趣区域执行特征提取，以执行所述对象检测。8.如权利要求7所述的系统，其中所述计算装置还被编程为：利用结果融合来基于加权函数将所述对象检测和所述补充传感器数据融合成融合...

【专利技术属性】
技术研发人员：费赞，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：