运动物体检测及智能驾驶控制方法、装置、介质及设备制造方法及图纸

本公开实施方式公开了一种运动物体检测方法和装置、智能驾驶控制方法和装置、电子设备、计算机可读存储介质以及计算机程序，其中的运动物体检测方法包括：获取待处理图像中的像素的深度信息；获取所述待处理图像和参考图像之间的光流信息；其中，所述参考图像和所述待处理图像是基于摄像装置的连续拍摄而获得的具有时序关系的两幅图像；根据所述深度信息和光流信息，获取所述待处理图像中的像素相对于所述参考图像的三维运动场；根据所述三维运动场，确定所述待处理图像中的运动物体。

【技术实现步骤摘要】
运动物体检测及智能驾驶控制方法、装置、介质及设备
本公开涉及计算机视觉技术，尤其是涉及一种运动物体检测方法、运动物体检测装置、智能驾驶控制方法、智能驾驶控制装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
在智能驾驶以及安防监控等
中，需要感知运动物体及其运动方向。感知到的运动物体及其运动方向，可以提供给决策层，使决策层基于感知结果进行决策。例如，在智能驾驶系统中，在感知到处于道路旁边的运动物体(如人或者动物等)向道路中央靠近时，决策层可以控制车辆减速行驶，甚至停车，以保障车辆的安全行驶。
技术实现思路
本公开实施方式提供一种运动物体检测技术方案。根据本公开实施方式其中一个方面，提供一种运动物体检测方法，该方法包括：获取待处理图像中的像素的深度信息；获取所述待处理图像和参考图像之间的光流信息；其中，所述参考图像和所述待处理图像是基于摄像装置的连续拍摄而获得的具有时序关系的两幅图像；根据所述深度信息和光流信息，获取所述待处理图像中的像素相对于所述参考图像的三维运动场；根据所述三维运动场，确定所述待处理图像中的运动物体。在本公开一实施方式中，所述待处理图像为所述摄像装置拍摄的视频中的一视频帧，所述待处理图像的参考图像包括：所述视频帧的前一视频帧。在本公开又一实施方式中，所述获取所述待处理图像中的像素的深度信息，包括：获取待处理图像的第一视差图；根据所述待处理图像的第一视差图，获取所述待处理图像中的像素的深度信息。在本公开再一实施方式中，所述待处理图像包括：单目图像，所述获取待处理图像的第一视差图，包括：将待处理图像输入至卷积神经网络中，经由所述卷积神经网络进行视差分析处理，基于所述卷积神经网络的输出，获得所述待处理图像的第一视差图；其中，所述卷积神经网络是利用双目图像样本，训练获得的。在本公开再一实施方式中，所述获取待处理图像的第一视差图，还包括：获取所述待处理图像的第一水平镜像图的第二视差图的第二水平镜像图，所述待处理图像的第一水平镜像图是对所述待处理图像进行水平方向上的镜像处理所形成的镜像图，所述第二视差图的第二水平镜像图是对所述第二视差图进行水平方向上的镜像处理所形成的镜像图；根据所述待处理图像的第一视差图的权重分布图、以及所述第二视差图的第二水平镜像图的权重分布图，对所述待处理图像的第一视差图进行视差调整，最终获得所述待处理图像的第一视差图。在本公开再一实施方式中，所述获取所述待处理图像的第一水平镜像图的第二视差图的第二水平镜像图，包括：将待处理图像的第一水平镜像图输入至卷积神经网络中，经由所述卷积神经网络进行视差分析处理，基于所述神经网络的输出，获得所述待处理图像的第一水平镜像图的第二视差图；对所述待处理图像的第一水平镜像图的第二视差图进行镜像处理，获得所述待处理图像的第一水平镜像图的第二视差图的第二水平镜像图。在本公开再一实施方式中，所述权重分布图包括：第一权重分布图以及第二权重分布图中的至少一个；所述第一权重分布图是针对多个待处理图像统一设置的权重分布图；所述第二权重分布图是针对不同待处理图像分别设置的权重分布图。在本公开再一实施方式中，所述第一权重分布图包括至少两个左右分列的区域，不同区域具有不同的权重值。在本公开再一实施方式中，在所述待处理图像被作为左目图像的情况下：对于所述待处理图像的第一视差图的第一权重分布图中的任意两个区域而言，位于右侧的区域的权重值大于位于左侧的区域的权重值；对于所述第二视差图的第二水平镜像图的第一权重分布图中的任意两个区域而言，位于右侧的区域的权重值大于位于左侧的区域的权重值。在本公开再一实施方式中，对于所述待处理图像的第一视差图的第一权重分布图中的至少一区域而言，该区域中左侧部分的权重值不大于该区域中右侧部分的权重值；对于所述第二视差图的第二水平镜像图的第一权重分布图中的至少一区域而言，该区域中左侧部分的权重值不大于该区域中右侧部分的权重值。在本公开再一实施方式中，在所述待处理图像被作为右目图像的情况下：对于所述待处理图像的第一视差图的第一权重分布图中的任意两个区域而言，位于左侧的区域的权重值大于位于右侧的区域的权重值；对于所述第二视差图的第二水平镜像图的第一权重分布图中的任意两个区域而言，位于左侧的区域的权重值大于位于右侧的区域的权重值。在本公开再一实施方式中，对于待处理图像的第一视差图的第一权重分布图中的至少一区域而言，该区域中右侧部分的权重值不大于该区域中左侧部分的权重值；对于第二视差图的第二水平镜像图的第一权重分布图中的至少一区域而言，该区域中右侧部分的权重值不大于该区域中左侧部分的权重值。在本公开再一实施方式中，所述待处理图像的第一视差图的第二权重分布图的设置方式包括：对待处理图像的第一视差图进行水平镜像处理，形成镜像视差图；对于所述镜像视差图中的任一像素点而言，如果该像素点的视差值大于该像素点对应的第一变量，则将所述待处理图像的第一视差图的第二权重分布图中的该像素点的权重值设置为第一值，否则，设置为第二值；其中，所述第一值大于第二值。在本公开再一实施方式中，所述像素点对应的第一变量是根据所述待处理图像的第一视差图中的该像素点的视差值以及大于零的常数值，设置的。在本公开再一实施方式中，所述第二视差图的第二水平镜像图的第二权重分布图的设置方式包括：对于所述第二视差图的第二水平镜像图中的任一像素点而言，如果待处理图像的第一视差图中的该像素点的视差值大于该像素点对应的第二变量，则将所述第二视差图的第二水平镜像图的第二权重分布图中的该像素点的权重值设置为第一值，否则，设置为第二值；其中，所述第一值大于第二值。在本公开再一实施方式中，所述像素点对应的第二变量是根据所述待处理图像的第一视差图的水平镜像图中的相应像素点的视差值以及大于零的常数值，设置的。在本公开再一实施方式中，所述根据所述待处理图像的第一视差图的权重分布图、以及所述第二视差图的第二水平镜像图的权重分布图，对所述待处理图像的第一视差图进行视差调整，包括：根据所述待处理图像的第一视差图的第一权重分布图和第二权重分布图，调整所述待处理图像的第一视差图中的视差值；根据所述第二视差图的第二水平镜像图的第一权重分布图和第二权重分布图，调整所述第二视差图的第二水平镜像图中的视差值；合并视差值调整后的第一视差图和视差值调整后的第二水平镜像图，最终获得所述待处理图像的第一视差图。在本公开再一实施方式中，所述卷积神经网络的训练过程，包括：将双目图像样本中的其中一目图像样本输入至待训练的卷积神经网络中，经由所述卷积神经网络进行视差分析处理，基于所述卷积神经网络的输出，获得左目图像样本的视差图和右目图像样本的视差图；根据所述左目图像样本及其视差图重建左目图像；根据所述右目图像样本及其视差图重建右目图像；根据重建的左目图像和左目图像样本之间的差异、以及重建的右目图像和右目图像样本之间的差异，调整所述卷积神经网络的网络参数。在本公开再一实施方式中，所述获取所述待处理图像和参考图像之间的本文档来自技高网...

【技术保护点】
1.一种运动物体检测方法，其特征在于，包括：/n获取待处理图像中的像素的深度信息；/n获取所述待处理图像和参考图像之间的光流信息；其中，所述参考图像和所述待处理图像是基于摄像装置的连续拍摄而获得的具有时序关系的两幅图像；/n根据所述深度信息和光流信息，获取所述待处理图像中的像素相对于所述参考图像的三维运动场；/n根据所述三维运动场，确定所述待处理图像中的运动物体。/n

【技术特征摘要】
1.一种运动物体检测方法，其特征在于，包括：
获取待处理图像中的像素的深度信息；
获取所述待处理图像和参考图像之间的光流信息；其中，所述参考图像和所述待处理图像是基于摄像装置的连续拍摄而获得的具有时序关系的两幅图像；
根据所述深度信息和光流信息，获取所述待处理图像中的像素相对于所述参考图像的三维运动场；
根据所述三维运动场，确定所述待处理图像中的运动物体。


2.根据权利要求1所述的方法，其特征在于，所述待处理图像为所述摄像装置拍摄的视频中的一视频帧，所述待处理图像的参考图像包括：所述视频帧的前一视频帧。


3.根据权利要求1或2所述的方法，其特征在于，所述获取所述待处理图像中的像素的深度信息，包括：
获取待处理图像的第一视差图；
根据所述待处理图像的第一视差图，获取所述待处理图像中的像素的深度信息。


4.根据权利要求3所述的方法，其特征在于，所述待处理图像包括：单目图像，所述获取待处理图像的第一视差图，包括：
将待处理图像输入至卷积神经网络中，经由所述卷积神经网络进行视差分析处理，基于所述卷积神经网络的输出，获得所述待处理图像的第一视差图；
其中，所述卷积神经网络是利用双目图像样本，训练获得的。


5.一种智能驾驶控制方法，其特征在于，包括：
通过车辆上设置的摄像装置获取所述车辆所在路面的视频流；
采用如权利要求1-4中任一项所述的方法，对所述视频流包括的至少一视频帧进行运动物体检测，确定该视频帧中的运动物...

【专利技术属性】
技术研发人员：姚兴华，刘润涛，曾星宇，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11