一种以视觉为中心的基于深度学习的路况分析方法及系统技术方案

本发明专利技术公开了一种以视觉为中心的基于深度学习的路况分析方法及系统。所述方法包括：接收来自一摄像头的实时交通环境的视觉输入；使用循环YOLO引擎，通过使用CNN训练方法，从所述的实时交通环境的视觉输入中确认至少一个初始兴趣区域；在所述至少一个的初始兴趣区域中，验证在所述至少一个的初始兴趣区域内的一检测对象是否为所追踪的候选对象；使用LSTMs来跟踪基于实时交通环境视觉输入的所述检测对象，并通过使用CNN训练方法，预测所述检测对象的未来状态；以及基于所预测的所述检测对象的未来状态，确定是否将警告信号呈现给司机。

A visual centered method and system for road condition analysis based on deep learning

The present invention discloses a vision based method and system for road condition analysis based on deep learning. The method includes: receiving real-time traffic environment from a camera visual input; the use of circulating YOLO engine, using CNN training method, the real-time traffic environment from visual input to confirm at least an initial region of interest; the at least one initial region of interest, whether in the verification the initial interest of at least one of the test object is tracked by the candidate object; using LSTMs to track real-time traffic environment visual input of the detection based on object, and through the use of CNN training method, to predict the future state of the detected object; and based on the future state of the predicted object detection that will determine whether the warning signal is presented to the driver.

【技术实现步骤摘要】
一种以视觉为中心的基于深度学习的路况分析方法及系统
本专利技术涉及图像处理
，尤其涉及一种以视觉为中心的基于深度学习的路况分析方法及系统。
技术介绍
为了提高道路的流动性质量，驾驶员辅助系统(DAS)提供了一种在其它事物中突出并增强主动和集成安全的方法。如今，建立高级驾驶员辅助系统(ADAS)，用于支持而非取代人类司机，已经成为当前智能车辆研究的一种趋势。这些系统通过增强司机的感知能力、适时提出警告以避免错误、以及减少司机的控制工作量，来支持司机。ADAS系统通常使用一种以上的传感器：如图像传感器，激光雷达，雷达等。单独一个传感器无法提供完整、稳固、准确的输入。图像传感器的深度感知能力较弱，而分辨能力高于激光雷达和雷达。而雷达显示的横向空间信息有限，因为它并不能达到全部，其视野狭窄，或者说在远距离下其分辨率降低。尽管激光雷达视野广阔，解决了之前所述的部分问题，但其存在其他问题，如分辨能力低，聚类错误以及识别延迟等问题。超声波传感器是用来检测周围环境中的障碍，但是他们通常需要辅以后视镜摄像头才能更好地协助司机获取更详细的信息。不同传感器类型所存在的这些不足，就解释了将注意力集中于在对象检测和跟踪中进行传感器融合的研究，以及对每个传感器类型的充分利用上。本专利技术所公开的以视觉为中心的基于深度学习的路况分析方法及系统，用于解决上述的一个或者多个问题，及其他问题。
技术实现思路
结合一些实施例，本专利技术提供了一种能够及时提供导航预警的以视觉为中心的基于深度学习的路况分析方法及系统。本专利技术一方面公开了一种以视觉为中心的基于深度学习的路况分析方法，所述方法包括：接收来自至少一台摄像头的实时交通环境的视觉输入；使用循环YOLO(RecurrentyouOnlyLookOnce)引擎的卷积神经网络(CNN，ConvolutionalNeuralNetworks)训练方法，从所述的实时交通环境的视觉输入中确认至少一个的初始兴趣区域；使用循环YOLO引擎，验证所述至少一个的初始兴趣区域，用于确定在所述至少一个的初始兴趣区域内的一个检测对象，是否为一个使用CNN训练方法追踪的候选对象；当所述检测对象为候选对象时，使用多个长短期记忆单元(LSTMs)，跟踪基于实时交通环境视觉输入的所述检测对象，并通过使用所述CNN训练方法，预测所述检测对象的未来状态；以及基于所述检测对象的所预测的未来状态，确定是否将警告信号展现给驾驶者。在一些实施例中，基于，至少部分是基于，激光雷达传感器和红外传感器所获取的检测对象的实时信号来跟踪所述检测对象。在一些实施例中，所述检测对象的未来状态是通过计算检测对象和车辆之间的距离，检测对象的速度，以及检测对象的运动方向来确定。在一些实施例中，所述跟踪的候选对象包括：道路，附近的另一辆车，行人，车辆前方的障碍物，以及交通标志。在一些实施例中，所述CNN训练方法包括：用于特征学习的卷积层训练前阶段，用于目标检测的YOLO训练阶段和用于对象跟踪的LSTM训练阶段。在一些实施例中，所述卷积层训练前阶段包括：生成用于代表若干检测对象的视觉特征的大小为K×K×D的特征立方体。在一些实施例中，所述用于目标检测的YOLO训练阶段包括：将所述的特征立方体转换成张量表示。在一些实施例中，在所述LSTM训练阶段之前，将所述特征立方体编译成特征向量。在一些实施例中，所述用于跟踪对象的LSTM训练阶段与Kalman滤波器一起执行。在一些实施例中，所述CNN训练方法包括：使用具有紧挨着两个完全连接层的若干个卷积层的卷积神经网络。本专利技术公开的另一方面提供了一种以视觉为中心的基于深度学习的路况分析系统，所述系统包括：至少一个摄像头，用于接收实时交通环境的视觉输入；一循环YOLO引擎，用于：通过使用CNN训练方法，从所述的实时交通环境的视觉输入中确认所述至少一个的初始兴趣区域，以及验证所述至少一个的初始兴趣区域，以确定在所述至少一个的初始兴趣区域内的一检测对象是否为使用CNN训练方法追踪的候选对象；若干长期短期记忆单元(LSTMs)，用于当所述检测对象为候选对象时，跟踪基于实时交通环境视觉输入的所述检测对象，并通过使用所述CNN训练方法，预测所述检测对象的未来状态，以及决策机构，用于基于所述检测对象的所预测的未来状态，确定是否将警告信号展现给驾驶者。在一些实施例中，所述系统还包括复合传感器，用于处理通过激光雷达传感器和红外传感器所获取的检测对象的实时信号。在一些实施例中，所述若干长短期记忆单元(LSTMs)还用于：计算所述检测对象和车辆之间的距离，检测对象的速度，以及检测对象的运动方向。在一些实施例中，所述系统还包括：道路识别模块，用于确认所述检测对象是否为道路；行人检测模块，用于确认所述检测对象是否为行人，障碍检测模块，用于确认所述检测对象是否为车辆前方的障碍；以及交通标志识别模块，用于确认所述检测对象是否为交通标志。在一些实施例中，所述循环YOLO引擎包括：卷积神经网络(CNN)，用于生成大小为K×K×D的特征立方体，以代表若干检测对象的视觉特征。在一些实施例中，所述卷积神经网络(CNN)还用于：将所述的特征立方体转换成张量表示。在一些实施例中，所述卷积神经网络(CNN)还用于：在LSTM训练阶段之前，将所述的特征立方体编码成特征向量。在一些实施例中，所述若干个长短期记忆单元还用于：将所述用于跟踪对象的LSTM训练阶段与Kalman滤波器一起执行。在一些实施例中，所述CNN具有紧挨着两个完全连接层的若干个卷积层。在一些实施例中，所述系统还包括：人机界面，用于向驾驶者展现所述警告信号。本专利技术的其他方面，所属
技术人员能够依据本专利技术的权利要求书，说明书，以及附图有效实施并充分公开。附图说明为便于对实施例理解，特结合说明书附图对实施例进行详细描述，其中，同一个参考数字代表相同的元件。应当说明的是，说明书附图仅用于解释本专利技术，而不能解释为对本专利技术的限制。图1为本专利技术实施例提供的以视觉为中心的基于深度学习的路况分析系统的导航预警界面示例图；图2为本专利技术实施例提供的以视觉为中心的基于深度学习的路况分析系统的结构框图；图3为本专利技术实施例提供的深度学习神经网络循环YOLO的示意图；图4为本专利技术实施例提供的通用目标识别和跟踪方法的示意图；图5为本专利技术实施例提供的长短期记忆单元(LSTM)的结构框图；图6为本专利技术实施例提供的基于ROLO架构的LSTM模块的示意图；图7为本专利技术实施例提供的使用传统CNN作为预训练架构的示意图；图8为本专利技术实施例提供的循环YOLO架构的示意图；以及图9为本专利技术实施例提供的以视觉为中心的基于深度学习的路况分析系统的硬件原理图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。在下文中，本公开的实施例将结合附图进行描述。尽可能的，在各图中相同的参考数字用于相同的部件。显然的，描述的实施例仅为本专利技术的一部分实施例而非全部实施例。基于公开所的实施例，本领域技术人员可以推导出与本实施例一致的其它实施例，所有这些实施例均属于本专利技术的保护范围。根据所公开主题的不同实施例，本专利技术提供了一种以视觉为中心的基于深度学习的路况分析方法及系统。所述以视觉为中心的基于深度学习的路况分析系统也被称为以视觉为中心本文档来自技高网...

【技术保护点】
一种以视觉为中心的基于深度学习的路况分析方法，所述方法包括：接收来自至少一台摄像头的实时交通环境的视觉输入；使用循环YOLO引擎的卷积神经网络训练方法，从所述的实时交通环境的视觉输入中确认至少一个的初始兴趣区域；使用所述循环YOLO引擎，验证所述至少一个的初始兴趣区域，用于确定在所述至少一个的初始兴趣区域内的一个检测对象，是否为一个使用卷积神经网络训练方法追踪的候选对象；当所述检测对象为候选对象时，使用若干个长短期记忆单元跟踪基于实时交通环境视觉输入的所述检测对象，并通过使用所述卷积神经网络训练方法，预测所述检测对象的未来状态；以及基于所述检测对象的所预测的未来状态，确定是否将警告信号展现给驾驶者。

【技术特征摘要】
2016.05.11 US 15/152,0941.一种以视觉为中心的基于深度学习的路况分析方法，所述方法包括：接收来自至少一台摄像头的实时交通环境的视觉输入；使用循环YOLO引擎的卷积神经网络训练方法，从所述的实时交通环境的视觉输入中确认至少一个的初始兴趣区域；使用所述循环YOLO引擎，验证所述至少一个的初始兴趣区域，用于确定在所述至少一个的初始兴趣区域内的一个检测对象，是否为一个使用卷积神经网络训练方法追踪的候选对象；当所述检测对象为候选对象时，使用若干个长短期记忆单元跟踪基于实时交通环境视觉输入的所述检测对象，并通过使用所述卷积神经网络训练方法，预测所述检测对象的未来状态；以及基于所述检测对象的所预测的未来状态，确定是否将警告信号展现给驾驶者。2.根据权利要求1所述的方法，其特征在于，跟踪所述检测对象还包括：基于激光雷达传感器和红外传感器所获取的检测对象的实时信号来跟踪所述检测对象。3.根据权利要求1所述的方法，其特征在于，所述检测对象的未来状态是通过计算检测对象和车辆之间的距离、检测对象的速度、以及检测对象的运动方向来确定。4.根据权利要求1所述的方法，其特征在于，所述跟踪的候选对象包括：道路、附近的另一辆车、行人、车辆前方的障碍物、以及交通标志。5.根据权利要求1所述的方法，其特征在于，所述卷积神经网络训练方法包括：用于卷积层训练前阶段；用于目标检测的YOLO训练阶段；以及用于对象跟踪的长短期记忆训练阶段。6.根据权利要求5所述的方法，其特征在于，所述卷积层训练前阶段包括：生成用于代表若干检测对象的视觉特征的特征立方体。7.根据权利要求6所述的方法，其特征在于，所述用于目标检测的YOLO训练阶段包括：将所述的特征立方体转换成张量表示。8.根据权利要求5所述的方法，其特征在于，在所述长短期记忆训练阶段之前，还包括：将所述特征立方体编译成特征向量。9.根据权利要求5所述的方法，其特征在于，在所述用于对象跟踪的长短期记忆训练阶段与Kalman滤波器一起执行。10.根据权利要求1所述的方法，其特征在于，所述卷积神经网络训练方法包括：使用具有紧挨着两个完全连接层的若干个卷积层的卷积神经网络...

【专利技术属性】
技术研发人员：宁广涵，汪灏泓，薄文强，任小波，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东,44