一种利用地面三目视频匹配的露天矿边坡形变在线监测方法技术

本发明专利技术公开了一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。首先，通过均匀布设标靶，采用后定向方法完成三目视频相机参数标定；然后，通过对不同时刻三目视频帧的标靶及同名特征匹配与追踪，进行同名特征偏差估计，自动识别形变特征；继而，利用三组视频帧的前方交会，计算边坡形变特征的三维形变量，进行三维形变特征的时序分析，完成边坡形变的预警分析。该发明专利技术所用的硬件设备成本低，形变特征捕捉和三维形变量估计效率高，可实现边坡形变特征自动捕捉，辅助确定潜在滑坡区，完成在线高精度三维形变监测，满足露天矿高陡边坡三维形变监测的安全需求。

【技术实现步骤摘要】
一种利用地面三目视频匹配的露天矿边坡形变在线监测方法一、
本专利技术属于矿山测量领域，特别是涉及到一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。二、
技术介绍
随着我国露天开采技术和设备的持续发展，其规模大、效率高、成本低、资源回采率高的特点越发显现，陡帮开采等先进的露天开采工艺得到广泛应用，导致高陡边坡的稳定性问题突出，地质灾害频发。因此，大型高陡边坡稳定性评价对于矿山的安全开采、可持续生产、地质灾害防治等具有重要意义。传统的高陡边坡稳定性评价方法，如极限平衡法、数值方法、概率方法等，虽然操作简单，易于实现，但常忽略高陡边坡形成的时间、岩层纹理形态和空间结构等信息，导致评价可靠性差。近年来，地面激光雷达(TerrestrialLaserScanning，TLS)技术迅速发展，因其全自动、非接触、高精度的三维数据获取手段而备受关注，并成功用于高陡边坡的形变监测、量采验收和滑坡稳定性评价等研究。然而，LiDAR具有数据量大、空间上离散的特点，形变监测缺乏时效性，无法满足在线形变监测需求。地面差分干涉测量技术(GroundBasedInterferometricSyntheticApertureRadar，GB-InSAR)，可以满足在线监测需求，但对边坡的瞬时较大形变的监测能力不足。多目视觉匹配技术通过对连续视频帧\影像的特征提取与追踪，采用前方交会模型，可实现边坡特征的时空变化监测。尤其，ORB(OrientedFASTandRotatedBRIEF)等实时特征提取算法的出现，为在线边坡形变监测提供了技术保障。此外，随着工业级光学、红外等视频传感器的飞速发展，人们可以远距离、全天候获取场景的视频信息，为大型高陡边坡形变特征追踪、三维形变监测及潜在滑坡预警等研究提供了数据保障。本专利技术针对边坡形变的特点，设计了一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。该方法基于三个同步拍摄的摄像机\数码相机，通过对不同时刻三目相机影像的特征检测、特征匹配、特征跟踪等方法，确定边坡的二维形变特征；继而，利用三个相机影像间的前方交会，计算边坡形变特征的三维形变量。该方法所用的硬件设备成本低，形变特征捕捉和三维形变量估计效率高，可实现边坡形变特征自动捕捉，辅助确定潜在滑坡区，完成在线高精度三维形变监测，满足露天矿高陡边坡三维形变监测的安全需求。三、
技术实现思路
(一)解决的技术问题本专利技术所要解决的技术问题是：针对现有边坡形变监测方法成本高、效率低、精度不足等问题，设计了一种利用地面三目视频匹配的露天矿边坡形变在线监测方法。本方法首先布设三个高清摄像机，分别从不同视角同步获取高陡边坡的视频信息；继而，基于数字摄影测量与计算机视觉技术实现边坡图像特征的在线匹配与形变特征捕捉；最后，针对三目视频中捕捉的同名形变特征，采用前方交会模型计算形变特征的三维形变量，实现露天矿边坡三维形变监测与预警。(二)技术方案1.三目视频布设与相机参数标定三目视频作为矿山边坡形变监测的数据来源，应保证相机布设的合理性并进行精准定标，获取摄像机的几何畸变参数、内方位元素、位置和姿态参数。具体实现步骤如下：1)三目视频设备布设：根据监测边坡的长度确定合理的相机基线距离，在高陡边坡对面选择地形稳定的三个制高点，分记为P1，P2，P3；每个制高点架设高清摄像机，分记为C1，C2，C3；调整各相机的角度，使得三个相机拍摄区域的重叠度大于80％；此外，在待监测的高陡边坡上均匀布设g个夜光靶标，便于不间断观测，g≥6；使用全站仪等高精度设备测量靶标中心的三维坐标Bb＝(Xb，Yb，Zb)，b为靶标编号；此处，靶标既可用来恢复摄像机的位置和姿态参数，也可作为边坡形变监测的参考标识。2)视频内参标定：通过张正友标定法确定三个摄像机镜头的畸变系数(k1，k2，k3，p1，p2)、焦距f、像主点坐标(X0，Y0)。3)视频外参标定：将2)标定的视频内参作为已知量输入，提取三个视频帧中各靶标的像素坐标，建立靶标像素坐标与其三维坐标的映射关系，使用PnP(perspective-n-point)策略计算三个视频相机的外方位元素，包括摄像机位置参数(t1，t2，t3)和姿态参数(r1，r2，r3，r4，r5，r6，r7，r8，r9)，得到三个相机的外参，分别记为2.视频变化目标实时检测与跟踪使用三目视频协同在线监测矿山边坡三维形变，保证了数据获取的实时性、连续性与鲁棒性。多视角视频流提供了全方位边坡监测数据，借助计算机视觉原理与技术对多角度视频流处理，识别与跟踪场景靶标，同时检测与匹配三目视频帧影像中的同名特征点，实时判别边坡位移区域，并分析移动方向。具体实现步骤如下：1)靶标目标识别与跟踪：监测边坡预先均匀布设靶标，可用于视觉目标跟踪，因三目视频同时处于静止观测，可通过判定不同时刻同名靶标像素偏移量确定边坡的稳定性，联合手动框选与光流跟踪方法识别与跟踪二维码靶标中心；2)同名特征追踪与偏移估计：视频处于静止观测，等时间间隔内提取每个摄像机的视频帧，提取ORB特征作为图像描述，通过ORB特征相似性判断，确定任意摄像机在不同时刻获取的序列视频帧同名特征，3)形变特征确定：记录发生特征像素偏的移视频帧为关键帧Ki，这里i为关键帧序号，然后以第Ki-1帧影像为基准，计算形变区域像素偏移量集合{Δxis，Δyis}，i为关键帧编号，s为特征点点号，同名特征像素偏移值超过阈值ξ，则确定为形变特征α，将该特征点的像素坐标增加至形变集合A。3.形变特征三维定位与分析1)三目视频形变特征三维定位：已知视频传感器内外参数与镜头畸变系数，基于对极几何原理与影像密集重建技术，分别计算Ki关键帧中靶标与形变特征的三维坐标，分别记为{Si1，Si2，...，Sig}和{Fi1，Fi2，...，Fim}，g为靶标总数，m∈A为Ki关键帧发生像素形变的特征点数量。2)边坡三维形变模型构建与分析：靶标观测与图像特征跟踪具有时间连续性，利用关键帧Ki和Ki-1中形变特征三维坐标构建相邻关键帧边坡点、面三维形变数学模型，分析形变量并作出预警判断，具体的，针对关键帧Ki和Ki-1三维靶标点位{Si1，Si2，...，Sig}和{S(i-1)1，S(i-1)2，...，S(i-1)g}计算靶标时序三维偏移量{Si1-S(i-1)1，Si2-S(i-1)2，...，Sig-S(i-1)g}，或在指定时间段tθ内靶标偏移量超过最大位移阈值M时发出预警；于此同时分别构建关键帧Ki和Ki-1形变特征区域三角网格，计算网格间的法向平均距离Sε判定关键帧Ki和Ki-1时间段内面滑动位移量，若在指定时间段tθ内三维面位移累计滑动量超过最大面位移阈值W时发出预警。(三)有益效果1、本专利技术的主要传感器为高清摄像机，可实现露天矿边坡全面域的形变监测，相比传统分布式GNSS站点监测，成本低，且无需险情的先验知识，鲁棒性强。2、利用本专利技术，能够全天候在线监测并预警边坡形变，具有精度高、本文档来自技高网...

【技术保护点】
1.一种利用地面三目视频匹配的露天矿边坡形变在线监测方法，其特征在于，包括如下内容：/n1)三目视频布设与相机参数标定；/n2)视频变化目标实时检测与跟踪；/n3)形变特征三维定位与分析。/n

【技术特征摘要】
1.一种利用地面三目视频匹配的露天矿边坡形变在线监测方法，其特征在于，包括如下内容：
1)三目视频布设与相机参数标定；
2)视频变化目标实时检测与跟踪；
3)形变特征三维定位与分析。


2.根据权利要求1所述的三目视频布设与相机参数标定，其特征在于，包含以下步骤：
步骤1：根据实际监测边坡地形，在边坡对面合理布设视频摄像头。具体地，令Bnm为相机Cn与Cm之间的基线长度，n，m∈{1，2，3}，D为三个相机C1，C2，C3到滑坡中心区域的平均距离，αnm为两相机Cn与Cm到滑坡中心的基深比，为了保证长基线稳定定位，按式1设置基深比α取值范围，调整视频拍摄角度，保证监测区域视频重叠度大于80％，如图2所示，为了不间断监测，待监测边坡均匀布设多个夜光二维码靶标，分别标记为Tb，b＜g，b为靶标编号，g为靶标总数，g≥6，使用全站仪等设备测量设备采集靶标空间三维坐标，三维坐标记为Bb＝(Xb，Yb，Zb)。



步骤2：通过张正友标定法确定三个视频镜头内参数与畸变系数，首先按式(2)构建世界坐标系与图像像素坐标系间关系，使用Q简化表达相机内参与外参相乘矩阵，代数求解Q矩阵，分解矩阵Q可得相机焦距f与相主点坐标(u0，v0)；使用多项式表达相机径向畸变与切向畸变，如式(3)和式(4)所示，使用最小二乘求解相机畸变参数(k1，k2，k3，p1，p2)；



其中，(U，V，W)为世界坐标系坐标，(u，v)为像素坐标，Z表示尺度因子，f、u0与v0单位为像素；






其中，(x，y)，分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，坐标以像主点为坐标原点，r为图像像素点到图像中心点的距离，即r2＝x2+y2；
步骤3：视频外参标定。利用PnP直接线性变换方法计算视频相机的外方位元素，相机外方位元素包括三个平移参数(t1，t2，t3)和九个姿态旋转矩阵参数(r1，r2，r3，r4，r5，r6，r7，r8，r9)，按式(5)构建图像归一化平面齐次坐标(u′，v′，1)T与三维齐次坐标P＝(U，V，W，1)T间的空间关联映射，得到式(6)空间约束，按式(7)以矩阵形式构建N对映射约束，N＞6时最小二乘求解相机外参，计算三个视频相机的外参，分别记为



其中，(U，V，W，1)为世界坐标系齐次坐标，(u1，v1，1)T为像素归一化平面齐次坐标，Z表示尺度因子。






其中，(u1，v1)和P1为第一对二三位匹配映射点位，(uN，vN)和PN为第N对二三维映射点位。


3.根据权利要求1所述的视频变化目标实时检测与跟踪，其特征在于，包含以下步骤：
步骤1：靶标目标识别与跟踪：监测边坡均匀布设的靶标同时可用于视觉目标跟踪，因三目视频同时处于静止观测，可通过判定不同时刻同名靶标像素偏移量确定边坡的稳定性，联合手动框选与光流跟踪方法识别与跟踪二维码靶标中心，基于光流法跟踪发生位置变化的二维码靶标，视频帧像素可看作...

【专利技术属性】
技术研发人员：许志华，郑开慧，张永贵，张飞，徐二帅，石晓东，向迪，周春芳，刘宏宇，
申请(专利权)人：中国矿业大学北京，北方魏家峁煤电有限责任公司，
类型：发明
国别省市：北京;11