一种标定雨雪状态下视频中的动态行人及车辆的方法技术

一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，涉及图像模式识别和机器智能领域。解决了现有算法的实时性差以及识别动态物体不准确的问题。当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；步将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。它适用于检测行人及车辆。

【技术实现步骤摘要】

本专利技术涉及图像模式识别和机器智能领域。
技术介绍
在现今的视频去雨去雪算法中，首先是检测视频处于下雨下雪状态，通常采用光流算法来检测此时天气的状态。光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差。但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。当检测到此时是下雨下雪状态，就需要对视频进行去雨去雪。视频去雨去雪算法同样需要用到光流算法，如《Stereovideoderaininganddesnowingbasedonspatiotemporalframewarping》、《VideoDerainingandDesnowingUsingTemporalCorrelationandLow-RankMatrixCompletion》、《UtilizingLocalPhaser>InformationtoRemoveRainfromVideo[J].InternationalJournalofComputerVision》、《Arainpixelrecoveryalgorithmforvideoswithhighlydynamicscenes[J].ImageProcessing》和《Dynamicscenerainremovalformovingcameras[C]//DigitalSignalProcessing》。光流算法需要至少两帧数据，才能检测出动态的物体，其中动态物体包括行人、车辆和雨雪。通过GMM速度分类算法对动态物体进行速度分类，可以区分出行人、车辆和雨滴。最后对视频中雨滴进行滤波，去掉图像中的雨滴，对于其他动态物体行人和车辆且他们都处于雨区的部分，需要用保边去噪算法进行滤波，保持行人和车辆的边缘，使视频中行人和车辆不会发生形变，不会影响视频中的行人识别。采用光流算法结合GMM速度分类算法完成视频中动态行人和车辆的检测，但是这种算法计算量大，且至少需要两帧的视频数据，实时性差，而且光流算法必须依赖GMM分类算法才能完成检测，所以对GMM分类算法精度要求较高，如果GMM速度分类算法中的速度阈值选择错误，则会导致行人和车辆检测错误，造成整个视频图像行人车辆发生形变。因此，如何克服光流算法结合GMM速度分类算法的实时性差以及识别动态物体不准确的缺点，是本领域研究的热点。
技术实现思路
本专利技术的目的是解决光流算法结合GMM速度分类算法的实时性差以及识别动态物体不准确的问题，提出了一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法。一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。步骤二中采用激光雷达扫描视频窗口前方，通过激光雷达测得的动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆，其具体过程如下：设定速度阈值d，d为3km/h～5km/h；如果V>d，则该动态物体是车辆；如果0<V<d，则该动态物体是行人。步骤三中通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标，其具体过程为：步骤三一、设定激光雷达的扫描高度H为0.85m～1m，且该高度处于行人和车辆高度的水平中线处；步骤三二、激光雷达水平扫描，获得动态物体水平中线处的二维起始坐标(X1，H)和终点坐标(X2，H)；步骤三三、根据中线原理，则行人及车辆的高度均为2H；步骤三四、根据激光雷达测距原理获得行人及车辆与激光雷达之间的距离，其过程为：激光雷达与行人和车辆之间的距离均为S＝vt/2；其中，v是激光雷达的速度3*108m/s，t是激光雷达激光发射回波所需时间t2与激光雷达中激光发射的时间t1的差，即t＝t2-t1；步骤三五、结合步骤三三及步骤三四获得行人的位置坐标，即行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H，S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,S)；车辆底部的起始三维坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)。步骤四中将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像，其映射过程为：步骤四一、建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；步骤四二、建立摄像机坐标系与激光雷达坐标系之间的关系；步骤四三、建立激光雷达坐标系与图像坐标系之间的关系；步骤四四、将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车辆的位置在图像坐标系下的位置坐标；步骤四五、将步骤四四中的行人及车辆的位置在图像坐标系下的位置坐标标注在步骤一中的图像上，即获得映射图像。步骤四一中建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；其过程为：建立摄像机的空间直角坐标系(Xc，Yc，Zc)，原点为O1；建立图像坐标系的二维直角坐标系(X,Y)，原点为O2；其中，Xc轴与X轴平行；Yc轴与Y轴平行；Zc轴垂直于图像构成的二维平面，且Zc轴为摄像机的光轴。步骤四二中建立摄像机坐标系与激光雷达坐标系之间的关系；其具体过程为：假设空间本文档来自技高网...

【技术保护点】
一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征在于，步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行人和车辆；步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位置坐标；步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图像；步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。

【技术特征摘要】
1.一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法，其特征
在于，
步骤一、当检测到视频中处于下雨下雪状态时，将视频分解成一帧帧图像；
步骤二、采用激光雷达扫描视频窗口前方，通过激光雷达测得动态物体的距离信息，得
到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包括行
人和车辆；
步骤三、通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位
置坐标；
步骤四、将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图
像；
步骤五、采用保边去噪方法对映射图像进行防失真处理，获得防失真映射图像。
2.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人
及车辆的方法，其特征在于，
步骤二中采用激光雷达扫描视频窗口前方，通过激光雷达测得的动态物体的距离信
息，得到动态物体的瞬时速度，并根据该瞬时速度判断动态物体的类型，动态物体的类型包
括行人和车辆，其具体过程如下：
设定速度阈值d，d为3km/h～5km/h；
如果V>d，则该动态物体是车辆；
如果0<V<d，则该动态物体是行人。
3.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人
及车辆的方法，其特征在于，
步骤三中通过激光雷达扫描物体中线位置，根据中线位置获得视频中行人及车辆的位
置坐标，其具体过程为：
步骤三一、设定激光雷达的扫描高度H为0.85m～1m，且该高度处于行人和车辆高度的
水平中线处；
步骤三二、激光雷达水平扫描，获得动态物体水平中线处的二维起始坐标(X1，H)和终
点坐标(X2，H)；
步骤三三、根据中线原理，则行人及车辆的高度均为2H；
步骤三四、根据激光雷达测距原理获得行人及车辆与激光雷达之间的距离，其过程为：
激光雷达与行人和车辆之间的距离均为S＝vt/2；
其中，v是激光雷达的速度3*108m/s，t是激光雷达激光发射回波所需时间t2与激光雷达
中激光发射的时间t1的差，即t＝t2-t1；
步骤三五、结合步骤三三及步骤三四获得行人的位置坐标，即
行人的位置坐标：行人的头部起始坐标为(X1，2H，S)，行人的头部终点坐标为(X2，2H，
S)；行人的脚部起始坐标为(X1，0,S)，行人的脚部终点坐标为(X2，0,S)；
车辆的位置坐标：车辆顶部的起始坐标为(Y1，2H，S)，车辆顶部的终点坐标为(Y2，2H,
S)；车辆底部的起始三维坐标为(Y1，0，S)，车辆底部的终点坐标为(Y2，0,S)。
4.根据权利要求1所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人
及车辆的方法，其特征在于，
步骤四中将步骤三中的行人及车辆的位置坐标映射到步骤一中的图像中，获得映射图
像，其映射过程为：
步骤四一、建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；
步骤四二、建立摄像机坐标系与激光雷达坐标系之间的关系；
步骤四三、建立激光雷达坐标系与图像坐标系之间的关系；
步骤四四、将步骤三中的行人及车辆的位置坐标映射到图像坐标系上，获得行人及车
辆的位置在图像坐标系下的位置坐标；
步骤四五、将步骤四四中的行人及车辆的位置在图像坐标系下的位置坐标标注在步骤
一中的图像上，即获得映射图像。
5.根据权利要求4所述的一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人
及车辆的方法，其特征在于，
步骤四一中建立摄像机和图像的数学模型，即建立摄像机坐标系和图像坐标系；其过
程为：
建立摄像机的空间直角坐标系(Xc，Yc，Zc)，原点为O1；建立图像坐标系的二维直角坐
标系(X,Y)，原点为O2；
其中，Xc轴与X轴平行；Yc轴与Y轴平行；Zc轴垂直于图像构成的二维平面，且Zc轴为摄
像机的光轴。
6.根据权利要求4...

【专利技术属性】
技术研发人员：王进祥，王瑶，付方发，石金进，徐伟哲，蔡祎炜，狄威，王宇哲，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23