【技术实现步骤摘要】
本专利技术涉及电力设备的多模态融合领域，尤其是涉及一种基于声像-红外-可见光的多模态时空频视觉融合重构技术。
技术介绍
1、在电力领域，现代电力系统电力设备种类多，应用环境复杂，设备状态信息量庞大，在设备实际运行过程中，由于工作环境复杂、背景噪音干扰大等问题，缺陷信号易被淹没难以发现，大大增加了运维难度，传统的故障识别方法难以满足电力设备监测要求，因此必须结合基于智能信息融合处理的方法进行研究。
2、伴随着多种感知成像技术、数字图像处理技术等相关技术的进步，近年来，基于多模态融合数据的智能分析技术逐渐在电力设备故障诊断中得到广泛应用。常见的包括联合可见光和红外成像检测温度异常，联合可见光和紫外谱段检测高压电器设备外部电晕放电状态，以及用于放电、异响以及振动检测的声成像技术也日趋成熟，在电网的各个场景下发挥作业。
3、在电力数据智能分析领域，多模态数据的融合已成为关键技术，其中可见光、红外和声学数据的多模态融合方法受到广泛关注。采用挂轨式可见光、红外运动式实时监测的方案可以动态式感知电力设备部件的工作状态，另结合声成像监测技术，从时-空-频三模态融合分析，有效滤除背景干扰，形成场景整体态势的全面感知。对比不同信号的同步检测，可减少因单一谱段信号受干扰而产生的检测不准或灵敏度降低的问题，且针对电气设备发生故障发展的动态变化过程，电力设备状态数据的时-空-频变化趋势可以准确反映故障发展状况，对故障的全面诊断和早期预警具有重要意义。
技术实现思路
1、本专利技术的目
2、本专利技术的目的可以通过以下技术方案来实现：
3、本专利技术提供一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，包括以下步骤：
4、s1、选定可见光相机作为参考成像相机，标定可见光相机、红外相机和声像仪的参数以及相机间的位姿参数，将红外相机、声像仪向可见光相机进行第一次映射；
5、s2、将红外图像、可见光图像和声学图像中的每一个整型像素坐标分别正向投影到对应的3d坐标，将红外相机和声像仪的3d坐标向可见光相机的3d坐标进行第二次映射；
6、s3、将可见光相机的3d坐标作为世界坐标，将所述世界坐标反向投影到红外相机和声像仪下，得到世界坐标反投影到红外相机和声像仪的像素坐标；
7、s4、利用红外相机和声像仪在步骤s2中的正向投影和步骤s3中的反向投影，得到红外图像原图像像素点灰度值到可见光图像像素点灰度值的第三次映射以及声学图像原图像像素点rgb值到可见光图像像素点rgb值的第三次映射，分别生成配准后的红外图像与配准后的声学图像；
8、s5、将原始可见光图像与步骤s4中的配准后的红外图像以及配准后的声学图像进行融合，得到多模态配准重构图像。
9、所述标定可见光相机、红外相机和声像仪的参数包括标定可见光相机、红外相机和声像仪的内参和外参。
10、可见光相机内参由可见光相机的水平焦距、垂直焦距、水平的偏移量、垂直的偏移量决定。
11、所述光相机内参采用如下公式表示：
12、
13、其中，fx为可见光相机的水平焦距，fy为可见光相机的垂直焦距，cx为可见光相机光轴在图像坐标系中水平的偏移量，像素为单位，cy为可见光相机光轴在图像坐标系中垂直的偏移量，像素为单位。
14、所述光相机外参包括相机间的位姿参数。
15、所述相机间的位姿参数由旋转矩阵向量和水平矩阵向量决定。
16、所述相机间的位姿参数采用如下公式表示：
17、
18、其中，cm0是相机间的位姿参数，rij(i，j＝1,2,3)分别为旋转矩阵的向量，tx、tx、tx分别为平移矩阵的向量。
19、将红外相机及声像仪中的像素点转换到可见光相机图像像素点对应的坐标中。
20、优选地，通过矩阵乘法将红外相机及声像仪中的像素点转换到可见光相机图像像素点对应的坐标中。
21、第二方面，本专利技术提供一种基于声像-红外-可见光的多模态时空频视觉融合重构系统，包括：可见光相机、红外相机、声像仪、映射模块、投影模块、配准模块、图像融合模块，所述系统用于实现上述中任一所述的方法。
22、与现有技术相比，本专利技术具有以下有益效果：
23、1、本专利技术通过多模态数据的融合，可以更全面地、准确地识别设备状态，从源头推动对故障目标检测处理能力的提升，实现对故障形成和发展的更加全面的认知和预防。
24、2、本专利技术在电力设备故障检测领域具有显著的应用潜力，解决了设备状态感知采集数据维度低、跨域分析和动态演化能力弱等问题，从而有效提高电力设备故障检测的准确性和可靠性。
25、3、本专利技术采用视觉跨模态融合分析关键技术，对未来的可见光-红外-声像联合的智能感知数据融合分析提供了原型机部署策略，为进一步开展无人化智能电力故障定位提供了数据集采集支撑。
26、4、本专利技术设计的一种基于声像-红外-可见光的多模态时空频视觉融合重构系统，通过感知终端空间相对位置，投射到设备三维建模的世界坐标系中，进行坐标变换，目标缩放偏移处理，然后进行多模态数据的融合，从而解决了电网设备状态感知中采集数据维度低、跨域分析能力、动态演化能力弱等问题。
本文档来自技高网...【技术保护点】
1.一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述标定可见光相机、红外相机和声像仪的参数包括标定可见光相机、红外相机和声像仪的内参和外参。
3.根据权利要求2所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，可见光相机内参由可见光相机的水平焦距、垂直焦距、水平的偏移量、垂直的偏移量决定。
4.根据权利要求3所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述光相机内参采用如下公式表示：
5.根据权利要求2所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述光相机外参包括相机间的位姿参数。
6.根据权利要求5所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述相机间的位姿参数由旋转矩阵向量和水平矩阵向量决定。
7.根据权利要求6所述的一种基于声像-红外-可见光的多模态
8.根据权利要求1所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，将红外相机及声像仪中的像素点转换到可见光相机图像像素点对应的坐标中。
9.根据权利要求8所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，通过矩阵乘法将红外相机及声像仪中的像素点转换到可见光相机图像像素点对应的坐标中。
10.一种基于声像-红外-可见光的多模态时空频视觉融合重构系统，包括：可见光相机、红外相机、声像仪、映射模块、投影模块、配准模块、图像融合模块，其特征在于，所述系统用于实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述标定可见光相机、红外相机和声像仪的参数包括标定可见光相机、红外相机和声像仪的内参和外参。
3.根据权利要求2所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，可见光相机内参由可见光相机的水平焦距、垂直焦距、水平的偏移量、垂直的偏移量决定。
4.根据权利要求3所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述光相机内参采用如下公式表示：
5.根据权利要求2所述的一种基于声像-红外-可见光的多模态时空频视觉融合重构方法，其特征在于，所述光相机外参包括相机间的位姿参数。
6.根据权利要求5所述的一种基于声像-红外-可见光的...
【专利技术属性】
技术研发人员：毛颖科，颜楠楠，戴缘生，李锋锋，朱正一，闫全全，任豪，谢子峰，李域浩，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。