【技术实现步骤摘要】
本申请涉及数据处理，具体而言，涉及一种生产现场的监控方法、装置、电子设备及存储介质。
技术介绍
1、在全球制造业竞争日益加剧的背景下，钢铁生产企业面临着提高生产效率、降低成本和提升产品质量的巨大挑战。精益生产管理因其能够系统性地减少浪费和提高效率，成为提升企业竞争力的重要战略。而其中的5s管理(整理、整顿、清扫、清洁、素养)作为精益生产的基础环节，通过规范工作环境和提升员工素养，显著提高了生产的稳定性和安全性。在钢铁行业中，5s管理的有效实施能够减少设备故障，优化生产流程，因而在实践中得到了广泛应用。
2、然而，传统的5s管理多依赖于人工执行与监督，在面对现代钢铁生产的复杂性和规模时，难以满足企业对实时性、精准性和自动化的要求。
技术实现思路
1、本申请实施例的目的在于提供一种生产现场的监控方法、装置、电子设备及存储介质，用以实现对生产现场的监控和智能化管理、具有高度的适应性和可复用性。
2、第一方面，本专利技术提供一种生产现场的监控方法，方法包括：
3、通过生产现场设置的影像传感器，在每个工作日的第一时间点采集多个第一生产区域的生产区域图像；将采集到的所有生产区域图像输入到预先训练好的多模态大模型，使多模态大模型依据生产现场对应的生产管理规则，输出每个生产区域图像对应的生产管理评估结果，生产管理评估结果至少包括每个不符合生产管理规则的第二生产区域对应的问题描述文本、标记图像和整改措施文本；基于所获得到的所有生产管理评估结果，生成第一生产管理报告
4、在可选的实施方式中，还包括：将生产管理报告发送至管理端；以及获取管理端发送的报告确认信息，并将生产管理报告发送至第二生产区域对应的目标生产端。
5、在可选的实施方式中，还包括针对每个工作日，确定是否到达第一时间点之后的第二时间点；若是，则通过生产现场设置的影像传感器，获取第二生产区域当前的生产区域图像；将所有第二生产区域当前的生产区域图像输入到预先训练好的多模态大模型，使多模态大模型依据生产现场对应的生产管理规则，输出每个生产区域图像对应的生产管理评估结果，以确定每个第二生产区域是否整改；基于所有第二生产区域所对应的生产管理评估结果，生成第二生产管理报告，其中，第二生产管理报告中，针对未整改的第二生产区域通过特殊方式标记。
6、在可选的实施方式中，通过以下方式训练生成多模态大模型：生成样本数据集，样本数据集中的每个样本数据包括标记有识别框和问题描述文本的样本生产区域图像，以及问答文本；通过样本数据集对原始模型进行训练，使原始模型依据生产现场对应的生产管理规则，输出每个生产区域图像对应的生产管理评估结果，调整原始模型以获取多模态大模型。
7、在可选的实施方式中，调整原始模型以获取多模态大模型的步骤，具体包括：
8、针对每个样本数据，计算出对应的损失值，以对原始模型的参数进行调整，其中，通过以下方式计算出损失值ltotal：
9、
10、其中，litc为图像和文本之间的对比学习损失值，litm为图像和文本之间的匹配程度值，llm为文本的匹配程度值，σitc、σitm、σlm为对应的权重系数值。
11、在可选的实施方式中，通过样本数据的类型，确定权重系数值。
12、在可选的实施方式中，通过以下方式生成样本数据集：
13、获取预设尺寸的样本生产区域图像，通过识别框标注不符合生产管理规则的区域，通过问题描述文本标注对应的区域所存在的问题类型、位置及原因；针对每个样本生产区域图像，通过gpt模型按照预设好的问答文本模板生成该样本生产区域图像对应的样本问答文本。
14、第二方面，本专利技术提供一种生产现场的监控装置，装置包括：
15、采集模块，用于通过生产现场设置的影像传感器，在每个工作日的第一时间点采集多个第一生产区域的生产区域图像；
16、判断模块，用于将采集到的所有生产区域图像输入到预先训练好的多模态大模型，使多模态大模型依据生产现场对应的生产管理规则，输出每个生产区域图像对应的生产管理评估结果，生产管理评估结果至少包括每个不符合生产管理规则的第二生产区域对应的问题描述文本、标记图像和整改措施文本；
17、生成模块，用于基于所获得到的所有生产管理评估结果，生成第一生产管理报告。
18、第三方面，本专利技术提供一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，处理器执行机器可读指令，以执行如前述实施方式任一一种生产现场的监控方法的步骤。
19、第四方面，本专利技术提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述实施方式任一一种生产现场的监控方法的步骤。
20、本申请提供的一种生产现场的监控方法、装置、电子设备及存储介质，方法包括通过生产现场设置的影像传感器，在每个工作日的第一时间点采集多个第一生产区域的生产区域图像；将采集到的所有生产区域图像输入到预先训练好的多模态大模型，使多模态大模型依据生产现场对应的生产管理规则，输出每个生产区域图像对应的生产管理评估结果，生产管理评估结果至少包括每个不符合生产管理规则的第二生产区域对应的问题描述文本、标记图像和整改措施文本；基于所获得到的所有生产管理评估结果，生成第一生产管理报告。用以实现对生产现场的监控和智能化管理、具有高度的适应性和可复用性。
本文档来自技高网...【技术保护点】
1.一种生产现场的监控方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，通过以下方式训练生成所述多模态大模型：
5.根据权利要求4所述的方法，其特征在于，所述调整所述原始模型以获取所述多模态大模型的步骤，具体包括：
6.根据权利要求5所述的方法，其特征在于，通过样本数据的类型，确定所述权重系数值。
7.根据权利要求4所述的方法，其特征在于，通过以下方式生成样本数据集：
8.一种生产现场的监控装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述一种生产现场的监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储
...【技术特征摘要】
1.一种生产现场的监控方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，通过以下方式训练生成所述多模态大模型：
5.根据权利要求4所述的方法，其特征在于，所述调整所述原始模型以获取所述多模态大模型的步骤，具体包括：
6.根据权利要求5所述的方法，其特征在于，通过样本数据的类型，确定所述权重系数值。
7.根据权利要求4所述的方法，其特征在于，通过...
【专利技术属性】
技术研发人员：罗莉，王君萍，张伟，宗涵，唐建烊，方向，
申请(专利权)人：鉴微数字科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。