转炉图像增量自动机器学习系统及其建立训练方法技术方案

本发明专利技术涉及一种转炉图像增量自动机器学习系统及其建立训练方法，形成转炉图像由感知到识别与研判的端到端解决方案，以应对炼钢厂在使用转炉炼钢的过程中存在喷溅、氧枪点火失败、氧枪漏水、拉后吹等异常现象。本发明专利技术能够在工厂等边缘设备进行部署，克服了工业上的机器视觉任务存在设备算力不足和实时检测的困难。相较于现阶段已有的面向智能工厂的图像识别方法，本发明专利技术提出的转炉图像增量自动机器学习系统在实际应用中优势明显。系统在实际应用中优势明显。系统在实际应用中优势明显。

【技术实现步骤摘要】
转炉图像增量自动机器学习系统及其建立训练方法


[0001]本专利技术涉及一种图像处理及应用技术，特别涉及一种转炉图像增量自动机器学习系统及其建立训练方法。

技术介绍

[0002]随着人工智能领域的成熟和应用，制造业的战略地位越来越受到重视。近年来，许多国家都制定并推出了各自制造业的发展战略，智能工厂已成为工业发展的主要方向。目前炼钢厂在使用转炉炼钢过程中，存在喷溅、氧枪点火失败、氧枪漏水、拉后吹等异常现象，不利于转炉高效稳定生产。例如，在转炉炼钢的过程中喷溅是不可避免的，喷溅不仅干扰了转炉炼钢的正常操作，而且其带出物含有大量的金属，从而减少了出钢量，增加了对钢铁的消耗。为了尽快发现转炉炼钢中的异常情况并及时采取预防措施，急需开发转炉场景智能识别分析系统，实现对转炉异常场景的智能分析。
[0003]如今计算机视觉领域开始广泛地使用深度学习和卷积神经网络，2017年开始提出轻量化网络的概念，兼顾网络训练的速度和精度，使其能够部署在边缘终端设备上。轻量化网络被广泛地用于工业工厂、无人驾驶、物联网边缘计算等场景的部署。基于深度学习和卷积神经网络表示学习的方法能够进行特征自动提取和自我学习，在图像分类方面取得了较大的突破。

技术实现思路

[0004]针对工业上的机器视觉任务中存在实时检测要求与设备算力不足矛盾问题，提出了一种转炉图像增量自动机器学习系统及其建立训练方法，基于深度学习的转炉异常识别，形成转炉图像由感知到识别与研判的端到端解决方案。在图像识别算法的设计上提出基于深度残差网络作为主干网络进行训练，有效地解决了神经网络梯度消失的问题，同时也减少或弥补了很多信息的损失。
[0005]本专利技术的技术方案为：一种转炉图像增量自动机器学习系统，从下至上依次包括数据层、业务层和用户层；
[0006]数据层：用于处理数据，采集实时转炉视频数据、预处理图像数据、在业务层驱动下图像识别标签数据，构成非结构化的数据库系统，对转炉异常典型场景数据分类存储；
[0007]业务层：用于对用户层图像增量和客户需求的核心驱动，同时也是下层数据层的数据驱动；包括用户模块和异常预警模块，异常预警模块负责模型的构建和预测，系统通过调用异常预警模块读取数据层的异常数据，将处理后的结果再返回到用户模块，其中包括各模型的参数和异常情况；用户模块将用户所需结果返回用户层；
[0008]用户层：用于给用户提供界面，在线增量图像、需求任务输入和结果展示。
[0009]优选的，摄像头精准监控转炉场景的颜色和形状，对喷溅、氧枪点火失败、氧枪漏水、拉后吹四类典型场景，摄像头输出转炉视频数据送数据层转换为转炉数据集存储和高质量图像数据输出，高质量图像数据送入业务层进行图像特征提取、识别，输出分类后异常
图像至用户层。
[0010]优选的，业务层的异常预警模块使用图像特征提取算法对转炉图像关键特征进行提取，将非结构化的图像数据转化为特征空间中结构化的特征向量，通过向量拼接方式对特征进行融合，再通过转炉场景图像特征提取算法，将非结构化转炉图像数据转化为转炉典型场景识别，最终异常预警模块识别转炉异常场景并发出报警信息，并将异常预警模型参数信息和异常结果数据存入数据库。
[0011]一种转炉图像增量自动机器学习系统的数据层建立方法，通过视频摘要技术对收集到的转炉视频数据进行数据过滤、预处理和存储，形成完备的转炉场景训练数据集、验证数据集和测试数据集，用于业务层对四类典型场景分类识别；对转炉视频数据进行分帧处理，并采用数字图像处理技术对图像数据进行预处理，将预处理后的高质量图像数据导入至非结构化数据库系统，形成转炉图像数据库；通过领域专家标注训练数据集、验证数据集和测试数据集的有效数据，分别用于业务层模型的训练、验证和测试。
[0012]进一步，所述图像数据的预处理使用图像归一化配置，用来归一化输入的图像，存储和读取的图片默认为BGR通道顺序；预处理数据流程：读取图片，随机缩放抠图，以0.4的概率随机水平翻转图片再进行归一化，最后将图片格式转化为张量；配置文件中的四类典型场景标签通过one
‑
hot编码的方式也转化为张量。
[0013]一种转炉图像增量自动机器学习系统的业务层建立方法，建立包括模型训练、模型验证、模型部署的完整的模型工具链；
[0014]模型训练的主干网络深度为18层，损失函数设置为交叉熵损失，首先读取由数据层经过预处理后的图像和标签数据，训练优化策略：优化器选择随机梯度下降，优化器的学习率初始设置，动量、权重衰减系数和训练轮次设置。
[0015]一种转炉图像增量自动机器学习系统训练方法，包括系统的模型流程构建、自动机器学习模型网络确定方法和算法的模型评估指标建立；
[0016]所述系统的模型流程构建：
[0017]1)在系统上创建模型，需要确定模型名称并选择模型实现的功能；
[0018]2)上传数据，待用户上传数据后，根据不同模型类型的数据要求进行数据标注；如果有本地已标注的数据，直接上传；
[0019]3)训练模型并校验效果，选择算法、配置训练数据及其他与任务相关的参数完成训练任务的启动；
[0020]4)模型训练完毕后支持可视化查看模型评估报告，并通过模型识别出转炉图像的四种异常情况；
[0021]5)最后发布模型，将效果满意的模型部署在服务器或本地设备上；
[0022]所述自动机器学习模型网络确定方法：对于选择主干网络，通过自动机器学习中的神经网络架构搜索及网络参数确定的方法，将参数训练和模型结构搜索解耦，先确定主干网络模型，再基于已确定的网络结构来训练参数，使得搜索后的神经网络与实际转炉图像识别的任务场景高度契合；
[0023]所述算法的模型评估指标：
[0024]准确率：图像分类模型的衡量指标，正确分类的样本数与总样本数之比，其值越接近1表示模型效果越好；
[0025]F1
‑
score，对某类别而言为精确率和召回率的调和平均数，对图像识别分类模型来说，该指标越高效果越好；
[0026]精确率，对某类别而言为正确预测为该类别的样本数与预测为该类别的总样本数之比；
[0027]召回率，对某类别而言为正确预测为该类别的样本数与该类别的总样本数之比；MAP是物体检测算法中衡量算法效果的指标，对于物体检测任务，每一类object都可以计算出其精确率和召回率，在不同阈值下多次计算/试验，每个类都可以得到一条P
‑
R曲线，曲线下的面积就是average。
[0028]本专利技术的有益效果在于：本专利技术转炉图像增量自动机器学习系统及其建立训练方法，系统通讯功能稳定，识别后形成的结构化数据存储能够大于6个月。模型具有自学习功能，可以实现自动更新计算模型的功能，模型可准确识别转炉喷溅的异常情况并发出报警信息，识别准确率超过95％。相较于现阶段已有的面向智能制造方法，本专利技术在实际应用中优势明显。
附图说明
[0029]图1为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种转炉图像增量自动机器学习系统，其特征在于，从下至上依次包括数据层、业务层和用户层；数据层：用于处理数据，采集实时转炉视频数据、预处理图像数据、在业务层驱动下图像识别标签数据，构成非结构化的数据库系统，对转炉异常典型场景数据分类存储；业务层：用于对用户层图像增量和客户需求的核心驱动，同时也是下层数据层的数据驱动；包括用户模块和异常预警模块，异常预警模块负责模型的构建和预测，系统通过调用异常预警模块读取数据层的异常数据，将处理后的结果再返回到用户模块，其中包括各模型的参数和异常情况；用户模块将用户所需结果返回用户层；用户层：用于给用户提供界面，在线增量图像、需求任务输入和结果展示。2.根据权利要求1所述转炉图像增量自动机器学习系统，其特征在于，摄像头精准监控转炉场景的颜色和形状，对喷溅、氧枪点火失败、氧枪漏水、拉后吹四类典型场景，摄像头输出转炉视频数据送数据层转换为转炉数据集存储和高质量图像数据输出，高质量图像数据送入业务层进行图像特征提取、识别，输出分类后异常图像至用户层。3.根据权利要求2所述转炉图像增量自动机器学习系统，其特征在于，业务层的异常预警模块使用图像特征提取算法对转炉图像关键特征进行提取，将非结构化的图像数据转化为特征空间中结构化的特征向量，通过向量拼接方式对特征进行融合，再通过转炉场景图像特征提取算法，将非结构化转炉图像数据转化为转炉典型场景识别，最终异常预警模块识别转炉异常场景并发出报警信息，并将异常预警模型参数信息和异常结果数据存入数据库。4.一种转炉图像增量自动机器学习系统的数据层建立方法，其特征在于，通过视频摘要技术对收集到的转炉视频数据进行数据过滤、预处理和存储，形成完备的转炉场景训练数据集、验证数据集和测试数据集，用于业务层对四类典型场景分类识别；对转炉视频数据进行分帧处理，并采用数字图像处理技术对图像数据进行预处理，将预处理后的高质量图像数据导入至非结构化数据库系统，形成转炉图像数据库；通过领域专家标注训练数据集、验证数据集和测试数据集的有效数据，分别用于业务层模型的训练、验证和测试。5.根据权利要求4所述转炉图像增量自动机器学习系统的数据层建立方法，其特征在于，所述图像数据的预处理使用图像归一化配置，用来归一化输入的图像，存储和读取的图片默认为BGR通道顺序；预处理数据流程：读取图片，随机缩...

【专利技术属性】
技术研发人员：武星，殷浩宇，
申请(专利权)人：上海大学，
类型：发明
国别省市：