【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种6s违规检测方法、装置、电子设备和存储介质。
技术介绍
1、目前，大多数工厂采用6s管理，为员工提供一个有序、高效且安全的生产环境，提高生产效率和质量。6s管理包括整理（seiri）、整顿（seiton）、清扫（seiso）、清洁（seiketsu）、素养（shitsuke）和安全（security），是指在生产环境中对人员、机器、材料和方法等生产要素进行有效管理。
2、现有技术中，多数工厂在实施6s管理时依赖于人工检测，或者采用深度学习算法对摄像头捕获的图像进行筛选和评估，再由6s管理员进行复核。人工检测方法耗时较长且检测效率较低，且由于受到主观判断的影响，难以确保检测结果的稳定性和准确性。而采用深度学习算法和人工复核的方法仍然依赖于高频率的人工审核，6s管理员的工作量较大，且由于6s违规类型复杂多样，需要通过不同6s违规类型的数据训练不同的分类器，实现检测内容的分类，检测效率较低。因此，如何提高6s违规检测的检测效率是目前亟需解决的问题。
技术实现思路
1、本专利技术提供一种6s违规检测方法、装置、电子设备和存储介质，用以解决现有技术中6s违规检测的检测效率较低的缺陷。
2、本专利技术提供一种6s违规检测方法，包括以下步骤。
3、获取多张待检测图像；
4、将所述多张待检测图像输入目标检测模型，从所述多张待检测图像中确定预测违规图像；
5、将所述预测违规图像和目标提示指令输入第一多模态
6、其中，所述第一多模态大模型是基于6s违规样本图像和所述6s违规样本图像对应的违规标签，对初始多模态大模型进行微调得到的，所述违规标签是将所述6s违规样本图像和所述6s违规样本图像对应的违规定位提示词输入第二多模态大模型得到的。
7、根据本专利技术提供的6s违规检测方法，所述第一多模态大模型是基于以下步骤微调得到的：
8、基于所述6s违规样本图像的分类信息和检测框信息，确定所述6s违规样本图像对应的违规定位提示词；
9、将所述6s违规样本图像和所述6s违规样本图像对应的违规定位提示词输入所述第二多模态大模型，得到所述第二多模态大模型输出的所述6s违规样本图像对应的违规标签；
10、基于所述6s违规样本图像和所述6s违规样本图像对应的违规标签，构建训练数据集；
11、基于所述训练数据集对所述初始多模态大模型进行微调，得到所述第一多模态大模型。
12、根据本专利技术提供的6s违规检测方法，所述基于所述6s违规样本图像的分类信息和检测框信息，确定所述6s违规样本图像对应的违规定位提示词，包括：
13、获取提示词模板，并识别所述提示词模板中的违规行为类型和位置信息；
14、将所述分类信息替换所述违规行为类型，并将所述检测框信息替换所述位置信息，得到所述6s违规样本图像对应的违规定位提示词。
15、根据本专利技术提供的6s违规检测方法，所述基于所述训练数据集对所述初始多模态大模型进行微调，得到所述第一多模态大模型，包括：
16、将所述训练数据集输入所述初始多模态大模型，利用低秩矩阵分解方法对所述初始多模态大模型中的局部参数进行微调，得到所述第一多模态大模型。
17、根据本专利技术提供的6s违规检测方法，所述将所述多张待检测图像输入目标检测模型，从所述多张待检测图像中确定预测违规图像，包括：
18、将各所述待检测图像输入所述目标检测模型，得到各所述待检测图像对应的识别准确率和预测框；
19、将所述多张待检测图像中识别准确率大于第一预设阈值的待检测图像确定为异常图像；
20、在所述异常图像上添加所述异常图像对应的预测框，得到预测违规图像。
21、根据本专利技术提供的6s违规检测方法，所述目标提示指令是基于以下步骤得到的：
22、确定1与所述第一预设阈值之间的差值；
23、在所述差值大于第二预设阈值的情况下，将第一提示指令和第二提示指令确定为所述目标提示指令；
24、在所述差值小于第二预设阈值的情况下，将所述第二提示指令确定为所述目标提示指令；
25、所述第一提示指令用于指示所述第一多模态大模型判断是否属于6s违规对象；所述第二提示指令用于指示所述第一多模态大模型生成所述预测违规图像的违规描述信息。
26、本专利技术还提供一种6s违规检测装置，包括以下模块。
27、获取模块，用于获取多张待检测图像；
28、第一检测模块，用于将所述多张待检测图像输入目标检测模型，从所述多张待检测图像中确定预测违规图像；
29、第二检测模块，用于将所述预测违规图像和目标提示指令输入第一多模态大模型，得到所述第一多模态大模型输出的违规检测结果；
30、其中，所述第一多模态大模型是基于6s违规样本图像和所述6s违规样本图像对应的违规标签，对初始多模态大模型进行微调得到的，所述违规标签是将所述6s违规样本图像和所述6s违规样本图像对应的违规定位提示词输入第二多模态大模型得到的。
31、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述6s违规检测方法。
32、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述6s违规检测方法。
33、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述6s违规检测方法。
34、本专利技术提供的6s违规检测方法、装置、电子设备和存储介质，通过目标检测模型从获取的多张待检测图像中筛选出预测违规图像，并将预测违规图像和对应的目标提示指令输入第一多模态大模型，确定预测违规图像对应的违规检测结果。本专利技术中通过将6s违规样本图像和对应的违规定位提示词输入第二多模态大模型，并通过第二多模态大模型关联6s违规样本图像中的图像特征和对应的违规定位提示词中的文本特征，得到违规标签，根据6s违规样本图像和违规标签对初始多模态大模型进行微调，提高微调后第一多模态大模型的检测准确性。通过第一多模态大模型即可检测不同的6s违规类型，减小需要训练的模型数量，降低后续的人工审核工作量，结合第二多模态大模型自动确定违规标签，提高训练数据的确定效率，从而提高6s违规检测的检测效率。
本文档来自技高网...【技术保护点】
1.一种6S违规检测方法，其特征在于，包括：
2.根据权利要求1所述的6S违规检测方法，其特征在于，所述第一多模态大模型是基于以下步骤微调得到的：
3.根据权利要求2所述的6S违规检测方法，其特征在于，所述基于所述6S违规样本图像的分类信息和检测框信息，确定所述6S违规样本图像对应的违规定位提示词，包括：
4.根据权利要求2所述的6S违规检测方法，其特征在于，所述基于所述训练数据集对所述初始多模态大模型进行微调，得到所述第一多模态大模型，包括：
5.根据权利要求1-4任一项所述的6S违规检测方法，其特征在于，所述将所述多张待检测图像输入目标检测模型，从所述多张待检测图像中确定预测违规图像，包括：
6.根据权利要求5所述的6S违规检测方法，其特征在于，所述目标提示指令是基于以下步骤得到的：
7.一种6S违规检测装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述6
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述6S违规检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述6S违规检测方法。
...【技术特征摘要】
1.一种6s违规检测方法，其特征在于，包括：
2.根据权利要求1所述的6s违规检测方法，其特征在于，所述第一多模态大模型是基于以下步骤微调得到的：
3.根据权利要求2所述的6s违规检测方法，其特征在于，所述基于所述6s违规样本图像的分类信息和检测框信息，确定所述6s违规样本图像对应的违规定位提示词，包括：
4.根据权利要求2所述的6s违规检测方法，其特征在于，所述基于所述训练数据集对所述初始多模态大模型进行微调，得到所述第一多模态大模型，包括：
5.根据权利要求1-4任一项所述的6s违规检测方法，其特征在于，所述将所述多张待检测图像输入目标检测模型，从所述多张待检测图像中确定预测违规图像，包括：
【专利技术属性】
技术研发人员：周海挺，余宙，沈飞，唐振，赵小伟，刘扬，
申请(专利权)人：盛景智能科技嘉兴有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。