【技术实现步骤摘要】
本专利技术涉及一种基于多模态数据的联动控制方法及系统，属于能源设备监测领域。
技术介绍
1、目前数据采集技术和视频分析技术在能源领域应用广泛，但两种技术处于各自独立应用的状态，无法满足用户对采集终端多功能的应用要求，需要进一步开发数据采集与视频分析融合和联动的业务功能，以丰富采集终端的使用功能和弥补应用上的不足。
2、第一种，数据采集终端通过各类传感器上送的数据以及能源设备上报的运行参数，对能源设备的运行情况进行分析，但无法通过视频监测对能源设备是否发生误报进行及时排查，也无法实时获取可取证用的报警图像或视频。
3、例如公布号为cn118626998a的中国专利申请公布文件，公开了一种基于数据流驱动的关键设备全流程监控方法及系统，通过对关键设备的数据流进行监测，检查设备各指标数据流的实时数据，结合实时采集到的数据与历史基线的对比情况和被监控设备的工作机理，判断实时数据流是否出现异常。
4、第二种，视频接入终端通过监测视频画面实现控制策略调用，自动调动ai算法进行智能识别应用，但只能识别到异常事件发生结果，无法获取造成异常事件的真实原因。
5、例如公布号为cn110198471a的中国专利申请公布文件，公开了一种异常识别方法、装置、智能设备及存储介质，通过对智能设备实时采集到的视频流输入到异常判断模型中，识别实时视频画面是否出现异常。
6、当采取单一的方案对设备的异常进行判断，容易出现漏判，例如，设备周围起火但还没有检测到数据流中的温度达到异常状态，此时不能及时做出控制；
技术实现思路
1、本专利技术的目的是提供一种基于多模态数据的联动控制方法及系统，用以解决采用单一监测方案时，容易出现设备异常状态漏判的问题。
2、为实现上述目的，本专利技术的方案包括：
3、本专利技术的一种基于多模态数据的联动控制方法，包括如下步骤：
4、将实时获取到的包括能源设备的运行数据和周边环境数据的数据流输入到预先训练好的机器学习模型中，判断数据流是否发生异常，并对数据流异常结果进行分类；将实时获取到的包括能源设备所处防区的监控画面的视频流输入到预先训练好的深度学习模型中，判断视频流是否发生异常，并对视频流异常结果进行分类；当同一时刻的数据流异常但视频流正常，根据数据流异常类别对相应的能源设备进行控制；当同一时刻的视频流异常但数据流正常，根据视频流异常类别对相应的能源设备进行控制或产生报警信号；当同一时刻的视频流异常且数据流异常，则产生报警信号的同时切断对应能源设备的电源；通过预先采集到的包括已经标注相应类别的能源设备的运行数据和周边环境数据对所使用的机器学习模型进行训练；通过预先采集到的能源设备所处防区的已经标注相应类别的监控画面对所使用的深度学习模型进行训练。
5、进一步地，在预先训练好的深度学习模型检测到视频流中的目标对象后，还使用核相关滤波器跟踪算法对目标对象的移动进行跟踪。
6、进一步地，在对分别经过预先训练好的机器学习模型得到的数据流和经过预先训练好的深度学习模型得到的视频流进行综合分析时，使用动态时间扭曲算法对数据流和视频流进行时间轴上的对齐。
7、进一步地，在切断相应能源设备的电源的同时，还录制此时前后预设时长的视频画面。
8、进一步地，使用iot边缘服务对相应的控制策略进行开发。
9、本专利技术的一种基于多模态数据的联动控制系统，包括处理器，处理器执行计算机程序以实现包括以下方法的步骤：
10、将实时获取到的包括能源设备的运行数据和周边环境数据的数据流输入到预先训练好的机器学习模型中，判断数据流是否发生异常，并对数据流异常结果进行分类；将实时获取到的包括能源设备所处防区的监控画面的视频流输入到预先训练好的深度学习模型中，判断视频流是否发生异常，并对视频流异常结果进行分类；当同一时刻的数据流异常但视频流正常，根据数据流异常类别对相应的能源设备进行控制；当同一时刻的视频流异常但数据流正常，根据视频流异常类别对相应的能源设备进行控制或产生报警信号；当同一时刻的视频流异常且数据流异常，则产生报警信号的同时切断对应能源设备的电源；通过预先采集到的包括已经标注相应类别的能源设备的运行数据和周边环境数据对所使用的机器学习模型进行训练；通过预先采集到的能源设备所处防区的已经标注相应类别的监控画面对所使用的深度学习模型进行训练。
11、进一步地，在预先训练好的深度学习模型检测到视频流中的目标对象后，还使用核相关滤波器跟踪算法对目标对象的移动进行跟踪。
12、进一步地，在对分别经过预先训练好的机器学习模型得到的数据流和经过预先训练好的深度学习模型得到的视频流进行综合分析时，使用动态时间扭曲算法对数据流和视频流进行时间轴上的对齐。
13、进一步地，在切断相应能源设备的电源的同时，还录制此时前后预设时长的视频画面。
14、进一步地，使用iot边缘服务对相应的控制策略进行开发。
15、本专利技术的有益效果为：本专利技术是开拓式专利技术创造，本专利技术将实时采集到的能源设备的运行数据和周边环境数据的数据流输入到预先训练好的机器学习模型中，判断数据流是否发生异常，并对数据流异常结果进行分类；将实时获取到的能源设备所处防区的监控画面的视频流输入到预先训练好的深度学习模型中，判断视频流是否发生异常，并对视频流异常结果进行分类。然后同时对数据流和视频流进行综合判断，根据综合判断结果执行相应的控制策略。本专利技术同时基于数据流和视频流对设备是否发生异常进行综合判断，有效地提高了设备异常判断的安全性。
本文档来自技高网...【技术保护点】
1.一种基于多模态数据的联动控制方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在所述预先训练好的深度学习模型检测到视频流中的目标对象后，还使用核相关滤波器跟踪算法对所述目标对象的移动进行跟踪。
3.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在对分别经过预先训练好的机器学习模型得到的数据流和经过预先训练好的深度学习模型得到的视频流进行综合分析时，使用动态时间扭曲算法对所述数据流和视频流进行时间轴上的对齐。
4.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在切断相应能源设备的电源的同时，还录制此时前后预设时长的视频画面。
5.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，使用IOT边缘服务对相应的控制策略进行开发。
6.一种基于多模态数据的联动控制系统，包括处理器，其特征在于，所述处理器执行计算机程序以实现包括以下方法的步骤：
7.根据权利要求6所述的基于多模态数据的联动控制系统，其特征在于，在所述预先训练
8.根据权利要求6所述的基于多模态数据的联动控制系统，其特征在于，在对分别经过预先训练好的机器学习模型得到的数据流和经过预先训练好的深度学习模型得到的视频流进行综合分析时，使用动态时间扭曲算法对所述数据流和视频流进行时间轴上的对齐。
9.根据权利要求6所述的基于多模态数据的联动控制系统，其特征在于，在切断相应能源设备的电源的同时，还录制此时前后预设时长的视频画面。
10.根据权利要求6所述的基于多模态数据的联动控制系统，其特征在于，使用IOT边缘服务对相应的控制策略进行开发。
...【技术特征摘要】
1.一种基于多模态数据的联动控制方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在所述预先训练好的深度学习模型检测到视频流中的目标对象后，还使用核相关滤波器跟踪算法对所述目标对象的移动进行跟踪。
3.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在对分别经过预先训练好的机器学习模型得到的数据流和经过预先训练好的深度学习模型得到的视频流进行综合分析时，使用动态时间扭曲算法对所述数据流和视频流进行时间轴上的对齐。
4.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，在切断相应能源设备的电源的同时，还录制此时前后预设时长的视频画面。
5.根据权利要求1所述的基于多模态数据的联动控制方法，其特征在于，使用iot边缘服务对相应的控制策略进行开发。
6.一种基于多模态...
【专利技术属性】
技术研发人员：关钧洋，朱晨光，高群伟，郝徐进，赵世伟，吴昊华，赵鹏祥，徐冰，
申请(专利权)人：平高集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。