棒状像素估计方法和系统技术方案

本发明专利技术涉及棒状像素估计方法和系统。提供用于检测物体的方法和系统。在一个实施例中，一种方法包括：由处理器接收来自图像传感器的图像数据；由处理器接收来自雷达系统的雷达数据；由所述处理器使用深度学习方法处理来自所述图像传感器的图像数据和来自所述雷达系统的雷达数据；以及由所述处理器基于所述处理检测物体。

【技术实现步骤摘要】
棒状像素估计方法和系统相关申请的交叉引用本专利技术要求提交于2015年11月20日的美国临时申请第62/258,303号的权益。

总体上涉及物体检测系统和方法，并且更具体地涉及在场景中估计一个或多个棒状像素并且基于所估计的棒状像素来检测物体的物体检测系统和方法。
技术介绍
各种系统处理数据以检测靠近系统的物体。例如，一些车辆系统检测靠近车辆的物体并且使用关于物体的信息来向驾驶员警告关于物体的情况和/或控制车辆。车辆系统基于放置在车辆周围的传感器来检测物体。例如，多个相机被放置在车辆的后方、侧方和/或前方，以便检测物体。来自多个相机的图像被用于基于立体视觉检测物体。在车辆或任何系统中实现多个相机增加了总成本。因此，期望提供基于单个相机检测图像中的物体的方法和系统。此外，结合附图和前述
和
技术介绍
，从随后的详细描述和所附权利要求，本专利技术的其它期望特征和特性将变得明显。另外，本公开包括以下技术方案：技术方案1：一种用于检测物体的方法，包括：由处理器接收来自图像传感器的图像数据；由处理器接收来自雷达系统的雷达数据；由所述处理器使用深度学习方法处理来自所述图像传感器的所述图像数据和来自所述雷达系统的所述雷达数据；和由所述处理器基于所述处理来检测物体。技术方案2：根据技术方案1所述的方法，其中，所述处理包括处理所述图像数据以确定一个或多个棒状像素，并且其中所述深度学习方法使用所述一个或多个棒状像素。技术方案3：根据技术方案2所述的方法，其中，所述处理包括：基于所述图像数据形成图像的感兴趣区域（ROI）窗口；和使所述ROI窗口从图像位置的左侧到所述图像的右侧运动到多个位置，以顺序地确定在每个位置处棒状像素的存在。技术方案4：根据技术方案2所述的方法，其中，所述处理包括：基于所述图像数据形成感兴趣区域（ROI）窗口；使用卷积神经网络确定所述ROI窗口的中心线是否包括棒状像素；和当确定棒状像素时报告可能性、位置、高度和类别标签。技术方案5：根据技术方案1所述的方法，其中，所述处理包括：处理来自所述雷达系统的所述雷达数据以确定一个或多个存在向量，并且其中所述深度学习方法使用所述一个或多个存在向量。技术方案6：根据技术方案1所述的方法，其中，所述处理包括使用所述深度学习方法融合所述图像数据的棒状像素和所述雷达数据的存在向量。技术方案7：根据技术方案6所述的方法，还包括确定所述融合的棒状像素和存在向量的每个的速度，并且其中，基于所述融合的棒状像素和存在向量的每个的所述速度来进行所述物体的检测。技术方案8：根据技术方案7所述的方法，还包括确定所述融合的棒状像素和存在向量的每个的位移，并且其中，基于所述融合的棒状像素和存在向量的每个的所述位移来进行所述物体的检测。技术方案9：一种用于检测物体的系统，包括：图像传感器，其生成图像数据；雷达系统，其生成雷达数据；和计算机模块，其由处理器使用深度学习方法处理所述图像数据和所述雷达数据，并且基于所述处理检测物体。技术方案10：根据技术方案9所述的系统，其中，所述计算机模块处理所述图像数据以确定一个或多个棒状像素，并且其中，所述深度学习方法使用所述一个或多个棒状像素。技术方案11：根据技术方案10所述的系统，其中，所述计算机模块基于所述图像数据形成图像的感兴趣区域（ROI）窗口；并且使所述ROI窗口从图像位置的左侧到所述图像的右侧运动到多个位置，以顺序地确定在每个位置处棒状像素的存在。技术方案12：根据技术方案10所述的系统，其中，所述计算机模块基于所述图像数据形成感兴趣区域（ROI）窗口，使用卷积神经网络确定所述ROI窗口的中心线是否包括棒状像素，并且当确定棒状像素时报告可能性、位置、高度和类别标签。技术方案13：根据技术方案9所述的系统，其中，所述计算机模块处理来自所述雷达系统的所述雷达数据以确定一个或多个存在向量，并且所述深度学习方法使用所述一个或多个存在向量。技术方案14：根据技术方案9所述的系统，其中，所述计算机模块使用所述深度学习方法融合所述图像数据的棒状像素和所述雷达数据的存在向量。技术方案15：根据技术方案14所述的系统，其中，所述计算机模块确定所述融合的棒状像素和存在向量的每个的速度，并且基于所述融合的棒状像素和存在向量的每个的所述速度来检测所述物体。技术方案16：根据技术方案15所述的系统，其中，所述计算机模块确定所述融合的棒状像素和存在向量的每个的位移，并且基于所述融合的棒状像素和存在向量的每个的所述位移来检测所述物体。技术方案17：根据技术方案9所述的系统，其中，所述图像传感器和所述雷达系统与车辆相关联，并且其中，所述控制模块检测在所述车辆附近的物体。
技术实现思路
提供用于检测物体的方法和系统。在一个实施例中，一种方法包括：由处理器接收来自图像传感器的图像数据；由处理器接收来自雷达系统的雷达数据；由处理器利用深度学习方法处理来自图像传感器的图像数据和来自雷达系统的雷达数据；由处理器基于处理检测物体。附图说明下文将结合以下附图描述示例性实施例，其中同样数字指代同的元件，并且附图中：图1是包括根据各种实施例的物体检测系统的车辆的图示；图2是图示可以由根据各种实施例的物体检测系统执行的物体检测方法的流程图；以及图3-6是根据各种实施例的图像场景和处理方法的图示。具体实施方式以下详细说明本质上仅为示例性的且不旨在限制应用及用途。此外，并不旨在受到呈现在前述
、
技术介绍
、
技术实现思路
或以下详细描述中的任何明确或隐含的理论限制。应当理解，贯穿附图，相应的附图标记表示同样或相应的零件和特征。如本文中所使用的，术语模块指代专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享的、专用的，或成组的）和存储器、组合逻辑电路，和/或提供上述功能的其它合适的部件。现在参考图1，车辆10被示出为包括根据各种实施例的物体检测系统12。物体检测系统12利用来自两个或更多个不同传感器（诸如，但不限于来自一个单目相机和一个雷达系统）的输入来估计外部环境的棒状像素（stixel）和自由空间表达。如可理解的，所示出和描述的物体检测系统12可实施在各种系统中，包括非移动平台或移动平台，诸如但不限于汽车、卡车、公共汽车、摩托车、火车、海洋船只、航空器、旋翼飞行器、机器人、机器人平台等。出于示例性目的，将在车辆10中实施物体检测系统12的背景中讨论本公开。尽管本文所示的附图描绘在元件的某些布置的情况下的示例，但是额外的介入元件、装置、特征或部件可以出现在实际实施例中。还应当理解，图1仅仅是说明性的且可以不按比例绘制。在各种实施例中，物体检测系统12包括与物体检测模块16相关联的图像传感器14（例如，相机或其它图像感测装置）以及雷达系统15。图像传感器14可位于车辆10的内侧或外侧的任何地方，包括但不限于，车辆10的前侧、车辆10的左侧、车辆10的右侧，和车辆10的后侧。如可理解的，多个图像传感器14可以实施在车辆10上，在车辆10的前侧、车辆10的左侧、车辆10的右侧和车辆10的后侧中的每一者或其组合上有一个。出于示例性目的，将在车辆10仅具有位于车辆10的前侧的一个图像传感器14的背景中讨论本公开。图像传感器14感测与车辆10相关联的区域，并基于此生成传感器信本文档来自技高网...

【技术保护点】
一种用于检测物体的方法，包括：由处理器接收来自图像传感器的图像数据；由处理器接收来自雷达系统的雷达数据；由所述处理器使用深度学习方法处理来自所述图像传感器的所述图像数据和来自所述雷达系统的所述雷达数据；和由所述处理器基于所述处理来检测物体。

【技术特征摘要】
2015.11.20 US 62/258303;2016.11.16 US 15/3533591.一种用于检测物体的方法，包括：由处理器接收来自图像传感器的图像数据；由处理器接收来自雷达系统的雷达数据；由所述处理器使用深度学习方法处理来自所述图像传感器的所述图像数据和来自所述雷达系统的所述雷达数据；和由所述处理器基于所述处理来检测物体。2.根据权利要求1所述的方法，其中，所述处理包括处理所述图像数据以确定一个或多个棒状像素，并且其中所述深度学习方法使用所述一个或多个棒状像素。3.根据权利要求2所述的方法，其中，所述处理包括：基于所述图像数据形成图像的感兴趣区域（ROI）窗口；和使所述ROI窗口从图像位置的左侧到所述图像的右侧运动到多个位置，以顺序地确定在每个位置处棒状像素的存在。4.根据权利要求2所述的方法，其中，所述处理包括：基于所述图像数据形成感兴趣区域（ROI）窗口；使用卷积神经网络确定所述ROI窗口的中心线是否包括棒状像素；和当确定棒状像素时报告可能...

【专利技术属性】
技术研发人员：S曾，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US