【技术实现步骤摘要】
本申请涉及温度监测预警和目标识别，特别是涉及一种基于多模态融合的温度监测方法、设备、介质及产品。
技术介绍
1、热红外成像技术，凭借其独特的探测机制，能够捕捉到物体所发出的红外辐射，进而精准获取目标的温度信息。这一技术在工业检测、医疗诊断、森林防火等众多领域均展现出了广泛的应用价值。相较于传统的烟感、温感等单一传感器预警方式，热红外成像技术具备更为全面和细致的探测能力，不仅能够探测明火、闷烧点等高温区域，还能有效识别设备过热等潜在风险，从而及时获取设备异常、初期火情等关键预警信息。对于安全监测应用场景而言，热红外成像技术的快速响应和准确预警对于应急处置至关重要。
2、然而，热红外成像技术也面临着一些挑战。由于热红外相机的成像原理和光谱特性，其成像的分辨率相对有限，难以精细捕捉物体的细节纹理特征。这在一定程度上限制了热红外图像在目标识别和语义理解方面的应用。相比之下，可见光成像技术能够以高分辨率和丰富色彩捕捉物体的视觉外观信息，为图像理解和计算机视觉提供了重要的信息来源。随着大规模数据集和深度学习技术的不断发展，基于可见光图像的物体检测和识别技术取得了显著进展。然而，可见光成像技术也有其局限性。它无法感知物体的热辐射信息，因此在一些需要温度探测的应用场景中，其效果受到一定限制。因此，在实际应用中，需要综合考虑两种技术的优缺点，根据具体应用场景的需求来选择合适的成像技术，以实现更为全面和准确的监测与识别。
3、针对单一成像模态的不足，国内外研究人员开始探索热红外与可见光图像融合的方法，力图结合两种互补的成像信
4、在温度异常检测和火灾预警等特定领域，一些学者也尝试将热成像与可见光成像相结合的应用案例。李庭坚等人公开了一种输电线路发热部件自动识别方法，对输电线路的异常发热进行检测和定位，主要通过hough(霍夫)变换和sift(scale-invariantfeature transform，尺度不变特征转换)特征识别匹配输电线和绝缘子等特定目标，然后通过阈值分割方法得到异常发热信息，未涉及自动识别异常目标类型。戴波等人公开了一种基于多光谱图像的设备检测方法及装置，通过对每个图像集合中的可见光图像和紫外图像进行图像识别，以得到紫外图像的温升识别结果和放电识别结果，从而得到设备部件是否存在异常的输出结果。该方法基于yolo的对象识别和定位算法对可见光图像进行检测，需要收集大量包含异常状态电力设备部件的图像样本进行模型训练。
5、总而言之，现有的双光融合方法在充分利用热红外的温度信息和可见光的视觉信息方面尚显不足，特别是缺乏端到端的语义理解和智能化识别能力，难以满足工业、安防等领域日益增长的实时检测和理解分析需求。当前的应用流程主要停留在“收集异常样本-模型微调-输出结果”的阶段。以电力系统巡检为例，对于险情监测而言，及时预警和快速应急处置至关重要。然而，目前热红外探测大多依赖于人工值守，通过观察视频画面或移动手持终端来发现异常情况，再由专业人员对采集的数据进行分析判读，这种方式存在效率低、周期长、主观性强等问题。现有的算法也多是基于yolo等目标检测框架，用于识别图像中存在的人体、车辆、火焰、烟雾等目标。然而，这些特定模型算法的应用难点在于需要构建一个包含大量异常样本的数据库，并且这些算法属于事后检测，即在输电线路已经发生故障，并出现电火花、烟雾和火焰等显著视觉特征时才能发出预警。这难以满足工业、安防等领域在险情早期对多目标区域多种温度的实时监测和理解分析需求。
6、综上，现有技术中的目标区域温度监测方法普遍存在准确性低的问题，基于此，如何提高对目标区域的温度监测和目标识别的准确性，成为了本领域亟待解决的一个技术问题。
技术实现思路
1、本申请的目的是提供一种基于多模态融合的温度监测方法、设备、介质及产品，可以提高对目标区域的温度监测和目标识别的准确性。
2、为实现上述目的，本申请提供了如下方案：
3、第一方面，本申请提供了一种基于多模态融合的温度监测方法，所述基于多模态融合的温度监测方法包括：
4、获取目标区域的热红外图像和可见光图像。
5、对所述热红外图像和所述可见光图像进行双光融合对齐处理，得到双光融合图像；所述双光融合图像包括热红外图像部分和可见光图像部分。
6、对所述热红外图像部分进行阈值分割，得到若干高温区域边界框；所述高温区域边界框用于圈定所述热红外图像部分中高温区域的位置和范围。
7、根据若干所述高温区域边界框和所述可见光图像部分，采用clip模型，确定所述高温区域边界框中高温异常目标的类型。
8、第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述的基于多模态融合的温度监测方法。
9、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述的基于多模态融合的温度监测方法。
10、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的基于多模态融合的温度监测方法。
11、根据本申请提供的具体实施例，本申请公开了以下技术效果：
12、本申请提供了一种基于多模态融合的温度监测方法、设备、介质及产品，采用基于热红外技术和可见光技术相结合的双光融合的方法，通过获取目标区域的热红外图像和可见光图像并进行双光融合对齐处理，得到双光融合图像，该双光融合图像不仅包括热红外图像中的温度信息，还包括可见光图像所蕴含的丰富纹理与语义信息，因此，基于双光融合图像即可精准确定出目标区域内各个高温区域边界框，以及高温区域边界框内各个高温异常目标的具体类型。同时，本申请还引入clip模型，clip模型作为一种视觉-文本预训练模型，可对异常温度区域进行精准的物体识别，结合热红外的温度信息和可见光的外观语义信息的融合，建立了一套完整的“双光融合对齐-热成像目标区域定位-可见光智能语义识别”处理流程，有效提高了异常高温目标检测和识别的准确性和效率，具有显著的技术优势和应用价值。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合的温度监测方法，其特征在于，所述基于多模态融合的温度监测方法包括：
2.根据权利要求1所述的基于多模态融合的温度监测方法，其特征在于，获取目标区域的热红外图像和可见光图像，具体包括：
3.根据权利要求2所述的基于多模态融合的温度监测方法，其特征在于，对所述热红外图像和所述可见光图像进行双光融合对齐处理，得到双光融合图像，具体包括：
4.根据权利要求1所述的基于多模态融合的温度监测方法，其特征在于，对所述热红外图像部分进行阈值分割，得到若干高温区域边界框，具体包括：
5.根据权利要求4所述的基于多模态融合的温度监测方法，其特征在于，根据若干所述高温区域边界框和所述可见光图像部分，采用CLIP模型，确定所述高温区域边界框中高温异常目标的类型，具体包括：
6.根据权利要求5所述的基于多模态融合的温度监测方法，其特征在于，在根据若干所述高温区域边界框和所述可见光图像部分，采用CLIP模型，确定所述高温区域边界框中高温异常目标的类型的步骤之后，所述基于多模态融合的温度监测方法还包括：
7.根据权利
8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的基于多模态融合的温度监测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于多模态融合的温度监测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于多模态融合的温度监测方法。
...【技术特征摘要】
1.一种基于多模态融合的温度监测方法，其特征在于，所述基于多模态融合的温度监测方法包括：
2.根据权利要求1所述的基于多模态融合的温度监测方法，其特征在于，获取目标区域的热红外图像和可见光图像，具体包括：
3.根据权利要求2所述的基于多模态融合的温度监测方法，其特征在于，对所述热红外图像和所述可见光图像进行双光融合对齐处理，得到双光融合图像，具体包括：
4.根据权利要求1所述的基于多模态融合的温度监测方法，其特征在于，对所述热红外图像部分进行阈值分割，得到若干高温区域边界框，具体包括：
5.根据权利要求4所述的基于多模态融合的温度监测方法，其特征在于，根据若干所述高温区域边界框和所述可见光图像部分，采用clip模型，确定所述高温区域边界框中高温异常目标的类型，具体包括：
6.根据权利要求5所述的基于多模态融合的温度监测方法，其特征在于，在根据若干所述高温区...
【专利技术属性】
技术研发人员：姬晓鹏，李永进，胡锦强，
申请(专利权)人：中国人民武装警察部队海警学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。