基于深度学习的周期性工业视频片段关键帧两阶段提取方法技术

本发明专利技术涉及一种基于深度学习的周期性工业视频片段关键帧两阶段提取方法。该方法包括：获取工业视频图像，提取感兴趣区域，预处理，得到预处理后图像序列；构建基于深度学习的语义分割网络模型，提取所述预处理后图像的目标区域；第一阶段，构建卷积神经网络对所述预处理后图像进行分类，并对其时间序列进行分割，得候选关键帧序列集合；第二阶段，构建所述目标区域相似度矩阵，对所述候选关键帧序列进行聚类、筛选和融合，得关键帧。本发明专利技术针对工业视频特征复杂，当前方法缺乏全局性和局部性的问题，引入深度学习技术，以“先全局后局部”的两阶段思想，更快、更准确地提取了工业视频关键帧，对优化生产，实现提质增产具有指导意义。

【技术实现步骤摘要】
基于深度学习的周期性工业视频片段关键帧两阶段提取方法
本专利技术涉及机器视觉、图像处理、模式识别领域，特别涉及一种基于深度学习的周期性工业视频片段关键帧两阶段提取方法。
技术介绍
周期性生产过程是一种常见的工业生产过程。在这类过程中，一系列既定的工序被周而复始的执行。例如，在钢铁烧结过程中，存在着“布料→点火→台车行进→卸料”这一周期性生产过程；再比如，在注塑过程中，“合模→填充→保压→冷却→开模→脱模”这一系列工序被循环执行。工业视频是工业生产过程工况信息的直观表现和间接反映。对于某一生产工序而言，关键帧是其监控视频片段中最能反映当前工业生产过程工况特征的图像，是评估该工序当前生产工况的重要特征参数之一。但是由于工业过程的复杂性，导致目前对关键帧的提取存在着以下问题。(1)生产周期的动态性理论上对于周期性生产过程，在生产速率一定的情况下，可以确定每个关键帧之间的时间间隔。在人为确定第一帧关键帧后，可以根据生产速率确定后续生产过程中的各关键帧。但是受到物料、燃料、操作、环境等因素的波动的影响，生产周期往往存在一定的波动，导致各关键帧之间时间间隔无法确定。(2)工序间的相似性在实际生产过程中，不同工序往往在同一场合下进行，这使得获得的各工序监控视频间存在着较多相似场景。例如，在烧结过程的机尾断面监控视频中，“台车运行”和“卸料”两个工序之间便存在着“烧结料层”这一共同场景，而“卸料”过程特有的“燃烧带”图像在这一场景中仅占了很小的一部分，从图像特征角度来看，这导致了两工序图像间的相似性。而传统的手工特征提取方法无法有效的克服这一相似性，造成了工序视频片段分割的困难性。(3)工序内的相似性在实际生产过程中，生产设备的动作，以及物料、产品的各种物理化学变化，往往为连续变化过程，监控视频各帧之间的差异较小，并主要体现在空间位置和纹理上，传统的手工特征无法有效的表达这一差异性。例如，在烧结过程的机尾断面监控视频中，“卸料”工序的各断面图像间的主要差异主要表现为燃烧带空间分布、纹理等变化，简单的亮度、直方图等手工特征无法精确的描述这一变化。这一问题便导致了工序视频片段关键帧提取的困难性。因此，如何克服上述问题，准确提取工业视频图像特征，快速实现周期性工业视频片段关键帧提取是工业过程工况评估中亟需解决的问题。
技术实现思路
基于此，本专利技术针对上述技术问题，提出了一种基于深度学习的关键帧提取方法，其目的是为了解决现有关键帧提取过程各关键帧时间间隔无法确定，无法有效克服工序相似性以及特征无法精确描述的技术问题，提供一种准确提取工业视频图像特征，快速实现周期性工业视频片段关键帧提取的方法。本专利技术提供了一种基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，，具体包括：S1:获取工业视频图像，提取兴趣区域图像，并进行预处理，获得预处理图像序列；S2:构建基于深度学习的语义分割网络模型，对所述预处理图像序列提取图像目标区域；S3:获取所述步骤S2中语义分割网络模型中间层的输出特征，并构建卷积神经网络模型，对所述预处理图像序列进行二分类，获得图像类别特征；S4:根据所述图像类别特征对所述预处理后的图像序列进行分割获得候选关键帧序列集合；S5：计算所述候选关键帧序列集合中各图像目标区域的相似度，构建相似度矩阵，并以所述相似度矩阵为输入，对所述候选关键帧序列进行聚类处理，获得多类别图像集合；S6:根据工业过程实际需求，构建关键帧选择指标和权值矩阵，根据所述关键帧选择指标对所述多类别图像集合进行筛选获得关键帧序列，并根据所述权值矩阵对所述关键帧序列进行加权平均，获得关键帧。进一步的，所述步骤S1中的预处理包括去噪、色彩校正和去雾处理。进一步的，所述步骤S2具体包括：从预处理图像序列随机选取多张第一典型图像，并筛选出第一掩模图像，构建第一训练集和第一测试集；将所述第一训练集和第一测试集进行平移、尺度、亮度和旋转变换处理获得增强训练集和测试集；构建深度语义分割网络模型，以所述增强训练集为输入对网络模型进行输入，并以增强测试集对网络模型进行测试，获得训练后的深度语义分割网络模型；将所述预处理图像采用训练后的深度语义分割网络模型进行类别特征提取，获得图像类别特征。进一步的，所述步骤S3具体包括：从预处理图像序列随机选取多张第二典型图像，并根据工业过程的实际需求将所述第二典型图像进行分类，构建第二训练集和第二测试集；以所述第二训练集和第二测试集为输入，采用步骤S2中的深度语义分割模型进行模拟，获取模型中间层输出作为图像深度特征；构建卷积神经网络模型，以所述图像深度特征为输入和分类作为输出，多网络进行训练和测试，获得训练后的卷积神经网络模型；将所述预处理图像采用训练后的卷积神经网络模型进行特征提取，获得图像类别特征。进一步的，所述步骤S4具体包括：构建临时图像序列并设定最小图像序列长度；遍历所述预处理图像序列，提取当前图像的类别特征，并判断图像是否属于目标图像；若当前图像为目标图像时，将当前图像添加至临时图像序列，且目标图像数量增加1，当所述临时图像序列的数量大于最小图像序列长度时，将临时图像序列中除最后张图像外的所有图像添加至当前目标图像序列；所述当前目标图像序列集合即为候选关键帧序列集合。进一步的，所述构建相似度矩阵具体包括：取候选关键帧序列中任意两张图像In和Im，利用所述深度语义分割网络提取相应目标区域Maskn和Maskm，并计算Maskn和Maskm之间的相似度其中，表示Maskn和Maskm之间的匹配特征描述子数量，W和H分别为图像的宽度和长度，∑∑Maskn和∑∑Maskm分别表示目标区域Maskn和Maskm的面积，Kn和Km分别表示Maskn和Maskm的特征描述子数量；计算候选关键帧序列中所有图像之间的相似度，得相似度矩阵进一步的，所述聚类处理具体包括：根据工业实际需求，设定类别数量D，以所述相似度矩阵为输入，对相对应的候选关键帧序列进行聚类操作，获得多类别图像集合。进一步的，所述步骤S6具体包括：以工业过程实际需求为目标，根据所述图像目标区域构建关键帧选择目标，从所述类别图像集合中选择图像获得关键帧序列；以工业过程实际需求为目标，根据所述图像目标区域构建权值矩阵，对所述关键帧序列中图像进行加权平均，获得关键帧。有益效果：本专利技术的上述实施例所述的基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法通过引入深度学习技术，弥补了传统手工特征方法在工业图像特征提取能力上的不足，能够完整准确地提取图像特征；通过生成候选关键帧序列，对海量的工业图像进行初步粗筛选，减少了第二阶段中聚类操作的计算量，并提高了其准确率；使用聚类操作对候选关键帧序列进行分割，提高了关键帧序列内图像间的相似度，减少了关键帧合成的计算量，并避免了噪声图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，其特征在于，具体包括：/nS1:获取工业视频图像，提取兴趣区域图像，并进行预处理，获得预处理图像序列；/nS2:构建基于深度学习的语义分割网络模型，对所述预处理图像序列提取图像目标区域；/nS3:获取所述步骤S2中语义分割网络模型中间层的输出特征，并构建卷积神经网络模型，对所述预处理图像序列进行二分类，获得图像类别特征；/nS4:根据所述图像类别特征对所述预处理后的图像序列进行分割获得候选关键帧序列集合；/nS5：计算所述候选关键帧序列集合中各图像目标区域的相似度，构建相似度矩阵，并以所述相似度矩阵为输入，对所述候选关键帧序列进行聚类处理，获得多类别图像集合；/nS6:根据工业过程实际需求，构建关键帧选择指标和权值矩阵，根据所述关键帧选择指标对所述多类别图像集合进行筛选获得关键帧序列，并根据所述权值矩阵对所述关键帧序列进行加权平均，获得关键帧。/n

【技术特征摘要】
1.一种基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，其特征在于，具体包括：
S1:获取工业视频图像，提取兴趣区域图像，并进行预处理，获得预处理图像序列；
S2:构建基于深度学习的语义分割网络模型，对所述预处理图像序列提取图像目标区域；
S3:获取所述步骤S2中语义分割网络模型中间层的输出特征，并构建卷积神经网络模型，对所述预处理图像序列进行二分类，获得图像类别特征；
S4:根据所述图像类别特征对所述预处理后的图像序列进行分割获得候选关键帧序列集合；
S5：计算所述候选关键帧序列集合中各图像目标区域的相似度，构建相似度矩阵，并以所述相似度矩阵为输入，对所述候选关键帧序列进行聚类处理，获得多类别图像集合；
S6:根据工业过程实际需求，构建关键帧选择指标和权值矩阵，根据所述关键帧选择指标对所述多类别图像集合进行筛选获得关键帧序列，并根据所述权值矩阵对所述关键帧序列进行加权平均，获得关键帧。


2.根据权利要求1所述的基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，其特征在于，所述步骤S1中的预处理包括去噪、色彩校正和去雾处理。


3.根据权利要求1所述的基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，其特征在于，所述步骤S2具体包括：
从预处理图像序列随机选取多张第一典型图像，并筛选出第一掩模图像，构建第一训练集和第一测试集；
将所述第一训练集和第一测试集进行平移、尺度、亮度和旋转变换处理获得增强训练集和测试集；
构建深度语义分割网络模型，以所述增强训练集为输入对网络模型进行输入，并以增强测试集对网络模型进行测试，获得训练后的深度语义分割网络模型；
将所述预处理图像采用训练后的深度语义分割网络模型进行类别特征提取，获得图像类别特征。


4.根据权利要求1所述的基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，其特征在于，所述步骤S3具体包括：
从预处理图像序列随机选取多张第二典型图像，并根据工业过程的实际需求将所述第二典型图像进行分类，构建第二训练集和第二测试集；
以所述第二训练集和第二测试集为输入，采用步骤S2中的深度语义分割模型进行模拟，获取模型中间层输出作为图像深度特征；
构...

【专利技术属性】
技术研发人员：王雅琳，戚雨栋，袁小锋，王凯，刘晨亮，郭静宇，刘柢炬，桂卫华，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43