【技术实现步骤摘要】
本专利技术涉及电力设备监测，尤其是一种基于多模态融合的变电站防外力破坏监测方法。
技术介绍
1、目前变电站基础设施建设不断加快，变电站改、扩、建工程增多，机械驾驶操纵人员难以通过肉眼精准测算变电站带电设备和施工机械的距离，且施工人员缺乏防护意识，由此造成的设备放电、跳闸短路和碰撞损坏等外力破坏事故时有发生，不仅影响正常的用电秩序，造成巨大的经济损失，而且还可能带来人员伤亡。因此，对变电站防外力破坏监测非常重要。
2、随着计算机视觉技术的飞速发展及在变电站视频图像监控装置中的落地应用，目前已经实现了变电站监测场景内塔吊、吊车、水泥罐车、推土机、挖土机等施工机械的自动检测。因此，基于智能识别技术，可以将变电站内的外力破坏隐患自动识别并及时告警，大幅提高线路监控效率和效果。
3、然而，现有基于图像数据的监测方法受限于数据特性，天然存在图像内物体近大远小、镜头畸变等情况，难以从图像上直接判断各类施工隐患目标距离带电设备的实际距离，造成隐患图像频繁告警。其次，基于图像数据的施工机械检测方法的检测精度受图像光照强度和目标尺寸影响较大，降低了监测方法的整体稳定性和可靠性。
4、为了解决上述现有技术的不足，本专利技术结合图像数据和激光点云数据的优势，提出一种基于多模态融合的变电站防外力破坏监测方法。
技术实现思路
1、本专利技术的目的是为了解决现有技术的不足，提供一种基于多模态融合的变电站防外力破坏监测方法，以提高变电站防外力破坏监测的准确性，减少无效告警。p>
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于多模态融合的变电站防外力破坏监测方法，包括如下步骤：
4、步骤1、对变电站监控现场的激光雷达和相机实现联合标定和时间同步，采集现场的三维点云数据和rgb图像数据，并记录监控范围内带电设备在雷达坐标系下的三维信息；
5、步骤2、根据雷达坐标系到图像坐标系的投影矩阵，获取图像中的像素点与激光点云的对应关系，生成稀疏深度图，并通过基于双边滤波器的深度补全方法将稀疏深度图转为密集深度图；
6、步骤3、设计多模态融合的施工机械检测框架，分别将图像和密集深度图作为yolov5模型的输出，采用基于d-s证据理论对模型输出结果进行融合，输出施工机械检测框结果；
7、步骤4、基于dbscan算法对原始激光点云进行聚类，并对每组点云进行边界框拟合；
8、步骤5、根据步骤3所获取的施工机械检测框和步骤4获取的聚类点云边界框，实现施工机械定位，并通过计算与带电设备的实际距离实现防外力破坏监测。
9、优选地，所述步骤1中，使用棋盘格矩形标定板，通过反复移动标定板在相机和激光雷达公共视野内的位置，采集多组图像和点云数据，利用autoware标定工具进行联合标定，获取雷达坐标系到相机坐标系的旋转矩阵rl2c、雷达坐标系到相机坐标系的平移向量tl2c以及相机内参kc2i；最终，通过下式计算获取雷达坐标系到图像坐标系的投影矩阵tl2i：
10、
11、所述步骤1中根据激光雷达和相机的采样频率，计算输出周期，进行数据的时间同步，同步后两种数据的输出周期tp可通过下式计算获得：
12、
13、其中，flidar和fcamera分别表示激光雷达和相机每秒采集帧数；tp的单位为秒，即每tp秒采集的数据为同一时刻数据，实现两种传感器的时间同步。
14、优选地，所述步骤2中，根据步骤1中所获取的雷达坐标系到图像坐标系的投影矩阵tl2i，建立三维点云坐标与图像平面坐标的映射关系，映射公式如下:
15、
16、其中向量[xlylzl1]t为三维点云在雷达坐标系下的空间坐标，xl表示点云在x轴上的坐标值，yl表示点云在y轴上的坐标值，zl表示点云在z轴上的坐标值；向量[uv1]t为三维点云映射后在图像坐标系下的平面坐标，u表示横坐标值，v表示纵坐标值；
17、获取每个点云坐标与平面坐标的一一对应关系后，生成与相机采集图像的长宽尺寸一致的稀疏深度图；具体为：首先根据图像的长度h和宽度w，去除u值不在区间[0,w]内或v值不在区间[0,h]内的坐标点；其次创建一个长宽尺寸与图像一致的全0二维矩阵，遍历剩余的所有平面坐标点，为二维矩阵内坐标(u,v)的值赋值为zl，作为该位置的深度；最终遍历完成后，获取尺寸为h×w×1的稀疏深度图。
18、优选地，所述步骤2中，应用双边滤波器对稀疏深度图进行深度补全，生成密集全景图，具体为：遍历图像内的每个像素点p，滤波后像素点p处的深度值ip′可用下式计算：
19、
20、其中，s表示以p为中心的邻域窗口；p、q表示像素点的物理坐标；ip、iq表示像素点p、q在稀疏深度图上对应的像素(深度)值；wp为归一化系数；gc和gs分别代表距离权值和相似权值，通过高斯函数计算获得，计算公式如下：
21、
22、其中，exp(·)表示以自然常数e为底的指数函数；(up,vp)为像素点p的坐标；(uq,vq)为像素点q的坐标；σc和σs为高斯函数相对应的两个标准差；
23、通过双边滤波器对稀疏全景图进行全图遍历后，实现深度补全，并在通道层面复制两次，获取尺寸为h×w×3的密集全景图。
24、优选地，所述步骤3中d-s证据理论应用于两种数据的检测框结果置信度融合，具体步骤为：
25、a)、对基于图像的检测框bc和基于密集深度图的检测框bd进行两两交并比iou计算，将iou大于0.75的bc和bd组成一组进行下一步的置信度融合，其他检测框则直接输出；
26、b)、基于d-s证据理论，定义识别框架θ＝{检测正确，检测错误}，bc和bd为θ下的两个证据，分别表示基于图像的检测框和基于密集深度图的检测框，基本概率来源于融合前的检测框置信度；基本概率赋值如下：
27、对于证据bc，检测正确概率赋值为检测错误概率赋值为
28、对于证据bd，检测正确概率赋值为检测错误概率赋值为
29、其中，表示检测框bc的置信度分数，表示检测框bd的置信度分数；
30、c)、基于d-s证据理论的概率合成规则，可将检测框bc和bd融合后的置信度通过下式计算：
31、
32、其中，表示两种检测框融合后的置信度，k表示冲突因子，通过下式计算得到：
33、
34、d)、对检测框bc和bd的位置信息进行融合，输出融合后的检测框位置信息，位置信息由左上角坐标和右下角坐标构成，通过下式获得：
35、
36、其中与分别是检测框bc的左上角坐标和右下角坐标；与分别是检测框bd的左上角坐标和右下角坐标；
37、e)、重复步骤b-步骤d，实现将所有iou大于0.75的检测框bc和bd融合，输出融合后检测框的位置信息和置信度。
38、优选地本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的变电站防外力破坏监测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤1中，使用棋盘格矩形标定板，通过反复移动标定板在相机和激光雷达公共视野内的位置，采集多组图像和点云数据，利用Autoware标定工具进行联合标定，获取雷达坐标系到相机坐标系的旋转矩阵Rl2c、雷达坐标系到相机坐标系的平移向量Tl2c以及相机内参Kc2i；最终，通过下式计算获取雷达坐标系到图像坐标系的投影矩阵Tl2i：
3.如权利要求1或2所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤2中，根据步骤1中所获取的雷达坐标系到图像坐标系的投影矩阵Tl2i，建立三维点云坐标与图像平面坐标的映射关系，映射公式如下:
4.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤2中，应用双边滤波器对稀疏深度图进行深度补全，生成密集全景图，具体为：遍历图像内的每个像素点p，滤波后像素点p处的深度值Ip′可用下式计算：
5.如权利要求1所述的基
6.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤4对步骤1所获取的原始激光点云进行聚类并生成边界框，具体步骤如下：
7.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤5中当多模态融合检测结果中存在施工机械目标时，则将点云边界框与施工机械检测框进行匹配，实现施工机械定位；最终在同一雷达坐标系下，计算施工机械三维坐标与记录带电设备三维坐标的欧式距离，若测出距离小于预设的安全阈值，则在监控场景下通过语音播报的方式告警提醒，截取画面推送至后端监控控制台，提醒相关工作人员。
8.如权利要求7所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述施工机械定位包括以下步骤：
...【技术特征摘要】
1.一种基于多模态融合的变电站防外力破坏监测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤1中，使用棋盘格矩形标定板，通过反复移动标定板在相机和激光雷达公共视野内的位置，采集多组图像和点云数据，利用autoware标定工具进行联合标定，获取雷达坐标系到相机坐标系的旋转矩阵rl2c、雷达坐标系到相机坐标系的平移向量tl2c以及相机内参kc2i；最终，通过下式计算获取雷达坐标系到图像坐标系的投影矩阵tl2i：
3.如权利要求1或2所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤2中，根据步骤1中所获取的雷达坐标系到图像坐标系的投影矩阵tl2i，建立三维点云坐标与图像平面坐标的映射关系，映射公式如下:
4.如权利要求1所述的基于多模态融合的变电站防外力破坏监测方法，其特征在于，所述步骤2中，应用双边滤波器对稀疏深度图进行深度补全，生成密集全景图，具体为：遍历图像内的每个像...
【专利技术属性】
技术研发人员：李俊楠，洪思源，艾川，
申请(专利权)人：云南电力试验研究院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。