基于激光扫描测距仪与多相机融合的透视成像方法技术

本发明专利技术涉及一种基于激光扫描测距仪与多相机融合的透视成像方法，摒弃了传统方法只采用图像传感器的方式，在使用图像传感器获取图像信息的基础上引入了激光扫描测距仪获取场景的点云数据，利用点云数据获取场景的深度信息，根据深度信息进行聚焦深度的选择，减少时间复杂度。同时本发明专利技术利用场景的深度信息，可以对获得的投影点进行筛选，提高透视成像结果的清晰度。由于本发明专利技术采用全景相机获取场景的图像信息，同时获取多视角的图像，因此能够获取多视角透视成像结果。本发明专利技术在自建数据库上进行测试结果，测试结果显示本方法能够快速有效的得到更清晰的多视角透视成像结果。

【技术实现步骤摘要】
基于激光扫描测距仪与多相机融合的透视成像方法
本专利技术涉及一种合成孔径透视成像方法，特别是一种基于激光扫描测距仪与多相机融合的透视成像方法。
技术介绍
相机阵列透视成像是计算机视觉领域的一个重要研究课题，在视频监控、隐藏目标探测等方面具有广泛的应用。文献“SyntheticApertureImagingusingPixelLabelingviaEnergyMinimization,PR,46(1):174-187,2013”公开了一种基于能量最小化像素标记的合成孔径成像方法。该方法将透视成像转化为前景点/非前景点的分类问题，首先对每个相机视角下的像素利用能量最小化方法标记属于遮挡物的前景像素点，然后，在给定聚焦深度对非前景像素点进行平均，获得遮挡目标透视成像。虽然这种方法能够对指定深度目标的透视成像，但是由于该方法采用了能量最小化像素标记的方式进行前景的标记工作，需要进行大量的计算，因此时间复杂度高。同时，由于标记的精度问题，使得前景的标记工作存在较大误差，影响透视成像的清晰度。此外，该方法只进行了传统的单镜头的透视成像工作，对于大场景多视角的透视成像不具有适用性。
技术实现思路
要解决的技术问题为了避免现有技术的成像方法透视成像不够清晰、时间复杂度较高、无法完成多视角透视成像的缺点，本专利技术提出一种基于激光扫描测距仪与多相机融合的透视成像方法。技术方案一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；步骤2：对激光扫描测距仪A在t时刻采集的目标点云集Pt中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P't；使用KD-tree方法对激光扫描测距仪A在t-1时刻采集的点集Pt-1构建拓扑结构，利用点集P't查找点集Pt-1中对应的临近点，获得参考点集Pt-1'；使用ICP算法获取目标点集P't到参考点集Pt-1'的2x2的旋转矩阵Rt'和2x1的平移矩阵Tt'，计算点集Pt投影到全局世界坐标系的旋转矩阵Rt＝Rt-1R't，平移矩阵Tt＝Rt·Tt'+Tt-1，其中Rt-1、Tt-1分别为点集Pt-1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集Pt投影到全局世界坐标系中，获取二维地图；步骤3：利用张氏标定法对第0-5号相机的镜头进行内参标定，获取内参矩阵K0,K1,K2,K3,K4,K5；步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量步骤5：根据二维地图构建过程中所获取的点集PtA到全局世界坐标系的旋转矩阵Rt以及平移矩阵Tt，所述的PtA为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集Ptis(i＝1,2,…,n.s＝B,C)到上一组点集Pt0s(s＝B,C)所在坐标系的旋转矩阵Rti0s和Tti0s，计算变换后的点集及计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：根据小孔成像模型Pimg＝KPc获取点集Pt1B,Pt2B,…,PtnB以及Pt1C,Pt2C,…,PtnC在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；步骤7：计算聚焦平面Πdes上的像素点pdes(x,y)在参考视角坐标系下对应的3维空间点pref为：pref＝pdes·step+ws其中step表示在参考视角坐标系下Πdes中一个像素的大小，ws表示Πdes在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：其中w和h分别表示合成图像的宽和高，fx和fy表示相机的焦距，dep表示聚焦平面的深度，计算pref在世界坐标系下的对应点pw：pw＝Rref·pref+Tref其中Rref表示参考视角的旋转矩阵，Tref表示参考视角的平移矩阵，通过对pw利用针孔相机模型进行投影变换，得到像素点pdes(x,y)在每一个视角下对应的点pi'，并组成一个点集合表示为P'＝{p1',p2',…,pn'}：其中[Ri|Ti]为第i个视角的旋转矩阵和平移矩阵，如果pi'在成像平面Πi上，则可以获得这个点的RGB值，记为cj，以及深度值dj，同样方法获取所有投影点的像素值，组成颜色值集合Cdes＝{c1,c2,…,cn}和深度值集合Ddes＝{d1,d2,…,dn}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点pdes(x,y)的颜色值，得到遮挡目标的透视成像。有益效果本专利技术提出的一种基于激光扫描测距仪与多相机融合的透视成像方法，利用激光扫描测距仪获取场景的点云信息，同时融合全景相机获取的场景彩色图像信息，利用合成孔径成像方法，可以更快速的获取更清晰透视成像结果。由于全景相机可以采集全视角的全景图像，因此本算法能够获取多视角的透视成像结果。在自建数据库上的测试结果显示，本专利技术能够快速有效的得到更清晰的多视角透视成像结果。具体实施方式现结合实施例对本专利技术作进一步描述：1、多激光扫描测距仪标定本专利技术使用三台激光扫描测距仪获取场景的二维点云数据，其中激光扫描测距仪A(前扫描)用于进行二维地图构建，激光扫描测距仪B(左侧扫描)用于场景左侧点云数据获取，激光扫描测距仪C(右侧扫描)用于场景右侧点云数据获取。首先根据实验平台的设计信息，确定激光扫描测距仪的世界坐标系(本专利技术选取激光扫描测距仪载台中心为世界坐标系原点)。然后根据扫描测距仪的布局信息，测量获取单台扫描测距仪的二维扫描坐标系的原点到世界坐标系的距离、偏转角度等信息，计算得到激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定。2、二维地图构建激光扫描测距仪A(本专利技术使用的激光扫描测距仪本文档来自技高网...

【技术保护点】
一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；步骤2：对激光扫描测距仪A在t时刻采集的目标点云集Pt中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P't；使用KD‑tree方法对激光扫描测距仪A在t‑1时刻采集的点集Pt‑1构建拓扑结构，利用点集P't查找点集Pt‑1中对应的临近点，获得参考点集Pt‑1'；使用ICP算法获取目标点集P't到参考点集Pt‑1'的2x2的旋转矩阵Rt'和2x1的平移矩阵Tt'，计算点集Pt投影到全局世界坐标系的旋转矩阵Rt＝Rt‑1Rt'，平移矩阵Tt＝Rt·Tt'+Tt‑1，其中Rt‑1、Tt‑1分别为点集Pt‑1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集Pt投影到全局世界坐标系中，获取二维地图；步骤3：利用张氏标定法对第0‑5号相机的镜头进行内参标定，获取内参矩阵K0,K1,K2,K3,K4,K5；步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：N·HP^l=||N||2]]>通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量步骤5：根据二维地图构建过程中所获取的点集PtA到全局世界坐标系的旋转矩阵Rt以及平移矩阵Tt，所述的PtA为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：Rc=Rt001,Tc=Tt0T]]>步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集Ptis(i＝1,2,…,n.s＝B,C)到上一组点集Pt0s(s＝B,C)所在坐标系的旋转矩阵Rti0s和Tti0s，计算变换后的点集及Ptis^=Rti0s·Ptis+Tti0s,(i=1,2,...,n.s=B,C)]]>计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：PtiB^=Rc1lTc1l01Pc1]]>PtiC^=Rc4lTc4l01Pc4]]>根据小孔成像模型Pimg＝KPc获取点集Pt1B,Pt2B,…,PtnB以及Pt1C,Pt2C,…,PtnC在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；步骤7：计算聚焦平面Πdes上的像素点pdes(x,y)在参考视角坐标系下对应的3维空间点pref为：pref＝pdes·step+ws其中step表示在参考视角坐标系下Πdes中一个像素的大小，ws表示Πdes在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：step=stepxstepy=±0.5*(wh/fxfy)*dep]]>其中w和h分别表示合成图像的宽和高，fx和fy表示相机的焦距，dep表示聚焦平面的深度，计算pref在世界坐标系下的对应点pw：pw＝Rref·pref+Tref其中Rref表示参考视角的旋转矩阵，Tref表示参考视角的平移矩阵，通过对pw利用针孔相机模型进行投影变换，得到像素点pdes(x,y)在每一个视角下对应的点pi'，并组成一个点集合表示为P'＝{p1',p2',…,pn'}：s*pi′1=K·[Ri|Ti]·pw1]]>其中[Ri|Ti]为第i个视角的旋转矩阵和平移矩阵，如果pi'在成像平面Πi上，则可以获得这个点的RGB值，记为cj，以及深度值dj，同样方法获取所有投影点的像素值，组成颜色值集合Cdes＝{c1,c2,…,cn}和深度值集合Ddes＝{d1,d2,…,dn}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点pdes(x,y)的颜色值，得到遮挡目标的透视成像。...

【技术特征摘要】
1.一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；步骤2：对激光扫描测距仪A在t时刻采集的目标点云集Pt中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P't；使用KD-tree方法对激光扫描测距仪A在t-1时刻采集的点集Pt-1构建拓扑结构，利用点集P't查找点集Pt-1中对应的临近点，获得参考点集Pt-1'；使用ICP算法获取目标点集P't到参考点集Pt-1'的2x2的旋转矩阵Rt'和2x1的平移矩阵Tt'，计算点集Pt投影到全局世界坐标系的旋转矩阵Rt＝Rt-1gR′t，平移矩阵Tt＝RtgT′t+Tt-1，其中Rt-1、Tt-1分别为点集Pt-1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集Pt投影到全局世界坐标系中，获取二维地图；步骤3：利用张氏标定法对第0-5号相机的镜头进行内参标定，获取内参矩阵K0,K1,K2,K3,K4,K5；步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量为激光扫描测距仪获取的点云坐标Pl的简化，步骤5：根据二维地图构建过程中所获取的点集PtA到全局世界坐标系的旋转矩阵Rt以及平移矩阵Tt，所述的PtA为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集Ptis(i＝1,2,L,n.s＝B,C...

【专利技术属性】
技术研发人员：杨涛，张艳宁，马文广，王斯丙，姚博伟，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61