【技术实现步骤摘要】
本专利技术涉及火焰监控，具体涉及基于工业视觉技术的火焰智能监控系统及方法。
技术介绍
1、工业视觉技术是指利用计算机视觉技术和图像处理技术，对工业生产过程中的视觉信息进行获取、处理和分析的一门技术，它主要通过摄像头或传感器获取实时图像或视频流，然后利用各种图像处理算法和机器学习方法，对这些图像进行分析和解释。
2、传统系统通常依赖人工巡检或者简单的传感器报警，这种方式容易出现漏报或者误报，因为人工巡检可能不及时或者不精准，传感器的灵敏度和准确性也相对较低，而且传统系统的火焰识别通常依赖于简单的烟雾或者热敏感元件，对于火焰的识别能力有限，容易受到环境因素的干扰，如烟雾、光线变化等，导致误报或者漏报的情况，且传统系统往往缺乏对监控视频的深度分析和处理能力，无法进行像素级别的分析或者多特征融合的火焰识别和评估，因此在复杂环境或者多目标场景中表现较差，并且传统系统通常无法有效地记录和分析历史监控视频，因此对于事后的火灾分析和安全改进支持有限。
技术实现思路
1、本专利技术目的是针对
技术介绍
中存在的问题，提出基于工业视觉技术的火焰智能监控系统及方法。
2、本专利技术的技术方案：基于工业视觉技术的火焰智能监控系统，包括火焰定位单元、目标复检单元、火焰评估单元、异常警报单元和可视化单元，还包括：
3、视频监控单元，所述视频监控单元用于对目标区域进行视频监控，以得到所述目标区域内的实时监控视频，并将所述目标区域内的实时监控视频传输至关键帧提取单元和目标检测单元；
4、关键帧提取单元，所述关键帧提取单元对视频监控单元传输的所述目标区域内的实时监控视频进行接收，并通过关键帧提取方法对所述目标区域内的实时监控视频进行关键帧提取，以得到所述实时监控视频所对应的多个关键帧，并将所述实时监控视频所对应的多个关键帧传输至目标复检单元；
5、目标检测单元，所述目标检测单元对视频监控单元传输的所述目标区域内的实时监控视频进行接收，并获取所述目标区域内的实时监控视频的最新帧，并通过已训练好的目标检测模型对所述最新帧进行目标检测，以确定所述最新帧是否存在目标火焰，若存在目标火焰，则检测所述最新帧中所述目标火焰的目标框位置和目标的类别，并将存在目标火焰的所述最新帧传输至火焰评估单元，且将所述最新帧中所述目标火焰的目标框位置和目标的类别传输至异常警报单元和可视化单元，并获取存在目标火焰的实时监控视频，并对所述实时监控视频进行历史记录，以得到历史监控视频，并将所述历史监控视频传输至火焰定位单元。
6、优选的，所述火焰评估单元对目标检测单元传输的存在目标火焰的所述最新帧进行接收，并通过边缘检测算法对存在目标火焰的所述最新帧进行边缘检测，以得到目标火焰图像，并对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，所述图像特征集包括颜色特征、纹理特征、形状特征和小波能量特征，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，并通过已训练好的支持向量机对所述目标火焰图像的融合特征和所述图像特征集进行分类，以得到所述目标火焰所对应的火焰等级，将所述目标火焰所对应的火焰等级传输至异常警报单元和可视化单元。
7、优选的，所述目标复检单元对关键帧提取单元传输的所述实时监控视频所对应的多个关键帧进行接收，并通过已训练好的目标检测模型对多个关键帧进行目标检测，以确定所述多个关键帧是否存在目标火焰，若存在目标火焰，则检测所述多个关键帧中所述目标火焰的目标框位置和目标的类别，且将所述多个关键帧中所述目标火焰的目标框位置和目标的类别传输至异常警报单元和可视化单元。
8、优选的，所述火焰定位单元对目标检测单元传输的所述历史监控视频进行接收，并通过已训练好的火焰检测模型检测所述历史监控视频中包含目标火焰的视频段，以得到所述视频段的时间边界，并将所述视频段的时间边界传输至可视化单元。
9、优选的，所述异常警报单元对目标检测单元传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元传输的所述目标火焰所对应的火焰等级和目标复检单元传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别进行接收，并基于所述最新帧中所述目标火焰的目标框位置和目标的类别、所述多个关键帧中所述目标火焰的目标框位置和目标的类别和所述目标火焰所对应的火焰等级生成相应的异常警报信号，并基于所述异常警报信号通过报警设备进行异常报警。
10、优选的，所述可视化单元对目标检测单元传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元传输的所述目标火焰所对应的火焰等级、目标复检单元传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别和火焰定位单元传输的所述视频段的时间边界进行接收，并将所述最新帧中所述目标火焰、多个关键帧中所述目标火焰和所述目标火焰所对应的火焰等级进行显示，并基于所述视频段的时间边界对所述历史监控视频进行定位，以得到所述历史监控视频中包含目标火焰的视频段，并将所述历史监控视频中包含目标火焰的视频段进行显示。
11、优选的，所述关键帧提取方法，包括以下步骤：
12、a1、将所述目标区域内的实时监控视频划分成多个连续的视频帧，对所述实时监控视频内所有相邻的所述视频帧的互信息量进行计算；
13、a2、构建预设尺寸的滑动窗口，在所述滑动窗口内比较各个所述视频帧的互信息量，判断当前比较的所述视频帧的互信息量是否为所述滑动窗口内所述视频帧的互信息量的最小值，若为最小值，则将所述滑动窗口向右移动，否则，则执行步骤a3；
14、a3、计算所述滑动窗口的局部自适应阈值，所述局部自适应阈值计算公式如下：
15、
16、其中，ui表示均值，σi表示标准差，ti表示局部自适应阈值，it,t+1表示互信息量，γ表示预设参数，2n+1表示滑动窗口的大小，t表示视频帧的序号；
17、a4、将当前比较的所述视频帧的互信息量与所述局部自适应阈值进行比对，若小于所述局部自适应阈值，则表明当前比较的所述视频帧为突变帧，并将所述滑动窗口右移，直至当前比较的所述视频帧的互信息量不小于所述局部自适应阈值，从而得到渐变结束帧，并将所述突变帧和渐变结束帧作为关键帧。
18、优选的，对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，包括以下步骤：
19、b1、对所述目标火焰图像进行颜色特征提取，以得到所述目标火焰图像的颜色特征，所述颜色特征提取公式如下：
20、
21、其中，v、s和h分别表示色调、饱和度和亮度，r、g和b表示目标火焰图像的rgb值；
22、b2、对所述目标火焰图像进行纹理特征提取，以得到所述目标火焰图像的纹理特征，所述纹理特征提取公式如下：
23、
24、其中，lbx(xc,yc)表示纹理特征，m表示像素点数，gi表示相邻像素的灰度值，gc表示中心灰度值，(xc,yc)表示中心像素，表示本文档来自技高网...
【技术保护点】
1.基于工业视觉技术的火焰智能监控系统，包括火焰定位单元(4)、目标复检单元(5)、火焰评估单元(6)、异常警报单元(7)和可视化单元(8)，其特征在于：
2.根据权利要求1所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰评估单元(6)对目标检测单元(3)传输的存在目标火焰的所述最新帧进行接收，并通过边缘检测算法对存在目标火焰的所述最新帧进行边缘检测，以得到目标火焰图像，并对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，所述图像特征集包括颜色特征、纹理特征、形状特征和小波能量特征，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，并通过已训练好的支持向量机对所述目标火焰图像的融合特征和所述图像特征集进行分类，以得到所述目标火焰所对应的火焰等级，将所述目标火焰所对应的火焰等级传输至异常警报单元(7)和可视化单元(8)；
3.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰定位单元(4)对目标检测单元(3)传输的所述历史监控视频进行接收，并通过已训练好的火焰检测模型检测所述历史监控视
4.根据权利要求3所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述可视化单元(8)对目标检测单元(3)传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元(6)传输的所述目标火焰所对应的火焰等级、目标复检单元(5)传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别和火焰定位单元(4)传输的所述视频段的时间边界进行接收，并将所述最新帧中所述目标火焰、多个关键帧中所述目标火焰和所述目标火焰所对应的火焰等级进行显示，并基于所述视频段的时间边界对所述历史监控视频进行定位，以得到所述历史监控视频中包含目标火焰的视频段，并将所述历史监控视频中包含目标火焰的视频段进行显示。
5.根据权利要求1所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述关键帧提取方法，包括以下步骤：
6.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，包括以下步骤：
7.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，包括以下步骤：
8.根据权利要求3所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰检测模型包括特征提取模块、第一预测模块和第二预测模块，所述特征提取模块采用三维卷积神经网络提取所述历史监控视频的时空特征，所述第一预测模块用于对所述历史监控视频的时间边界进行粗预测，以得到粗时间边界，所述第二预测模块用于对第一预测模块粗预测的粗时间边界内的视频段的时间边界进行细预测，所述第一预测模块通过全连接层将所述时空特征fl划分为定位特征和分类特征并通过两个时序卷积层对所述定位特征和所述分类特征中每个时间步进行预测，对于第i个时间步，生成视频段实例的粗时间边界和分类分数并通过时间尺度放缩模块将所述粗时间边界转换为真粗时间边界所述第二预测模块通过全连接层将所述定位特征划分为起始特征和终止特征基于所述真粗时间边界分别提取两段控制区域通过边界池化模块在所述两段控制区域内寻找起始特征最大值和终止特征最大值将所述起始特征最大值和所述终止特征最大值相拼接，以得到复合特征，通过时序卷积层对所述复合特征进行降维，以得到特征序列，基于所述特征序列预测视频段的时间边界的偏移量，基于所述时间边界的偏移量和所述真粗时间边界获取细时间边界。
9.根据权利要求8所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述真粗时间边界计算公式如下：
10.基于工业视觉技术的火焰智能监控方法，其适用于权利要求1-9任意一项所述的基于工业视觉技术的火焰智能监控系统，其特征在于，包括以下步骤：
...【技术特征摘要】
1.基于工业视觉技术的火焰智能监控系统，包括火焰定位单元(4)、目标复检单元(5)、火焰评估单元(6)、异常警报单元(7)和可视化单元(8)，其特征在于：
2.根据权利要求1所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰评估单元(6)对目标检测单元(3)传输的存在目标火焰的所述最新帧进行接收，并通过边缘检测算法对存在目标火焰的所述最新帧进行边缘检测，以得到目标火焰图像，并对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，所述图像特征集包括颜色特征、纹理特征、形状特征和小波能量特征，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，并通过已训练好的支持向量机对所述目标火焰图像的融合特征和所述图像特征集进行分类，以得到所述目标火焰所对应的火焰等级，将所述目标火焰所对应的火焰等级传输至异常警报单元(7)和可视化单元(8)；
3.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰定位单元(4)对目标检测单元(3)传输的所述历史监控视频进行接收，并通过已训练好的火焰检测模型检测所述历史监控视频中包含目标火焰的视频段，以得到所述视频段的时间边界，并将所述视频段的时间边界传输至可视化单元(8)；
4.根据权利要求3所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述可视化单元(8)对目标检测单元(3)传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元(6)传输的所述目标火焰所对应的火焰等级、目标复检单元(5)传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别和火焰定位单元(4)传输的所述视频段的时间边界进行接收，并将所述最新帧中所述目标火焰、多个关键帧中所述目标火焰和所述目标火焰所对应的火焰等级进行显示，并基于所述视频段的时间边界对所述历史监控视频进行定位，以得到所述历史监控视频中包含目标火焰的视频段，并将所述历史监控视频中包含目标火焰的视频段进行显示。
5.根...
【专利技术属性】
技术研发人员：冯宏伟，曹小兵，齐斌，何佳唯，
申请(专利权)人：无锡职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。