本发明专利技术公开了一种基于模型量化的工业缺陷检测方法及系统，方法包括：对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型；将量化后的缺陷检测模型设置为工业内窥镜的启动程序，获取工业内窥镜拍摄的周围环境图像或视频；调用量化后的缺陷检测模型结合图像高低分辨率映射推理方法对周围环境图像或视频的数据进行实时推理检测得到检测结果。可以将提出的模型加速方法应用到目标检测模型中实现推理加速，并将加速后的模型部署到工业内窥镜设备当中，能够同时进行单帧图片以及视频流的高速推理，同时将检测方法部署到工业内窥镜设备当中，借助工业内窥镜的体积小等优势实现对狭小空间和非直线型等工业环境下的缺陷检测任务。
【技术实现步骤摘要】
本专利技术属于缺陷检测，具体涉及一种基于模型量化的工业缺陷检测方法及系统。
技术介绍
1、目标检测作为当今计算机视觉领域中的一个热门研究方向，已经被科学家持续探索和研究很多年了。目标检测任务的主要目的是在一张图或者是一段视频中，将其中出现的物体例如：一辆车、一个人、一只狗等检测出来，并以合适的边界框标定，在其周围标出该目标的置信度和最终的分类类别。上述阐述的是一般传统意义上目标检测任务的大致流程，具体到不同的应用场景和需求当中，可能最终任务的输出方式会有较大的不同。目标检测也是对图像理解最本质的技术，是解决其他一些高级视觉识别技术的基础，如：场景理解、图像分割、动作识别等。目标检测技术的应用场景非常广泛，这些场景主要包括：无人机侦察定位、人脸检测、垃圾检测等，并且在工业制造中的零部件缺陷检测，小区物业的安防方面等也均有很多已经实现的业务流程。
2、缺陷检测作为计算机视觉技术在工业生产场景下的一个典型应用，已经有了很长时间的发展。从最开始使用基于传统图像处理技术到后来基于简单机器学习技术再到后来由于深度学习技术的发展以及目标检测技术的广泛应用，产生了基于卷积神经网络的缺陷检测流程。缺陷检测技术的目的是在工业环境下对拍摄到的抽检产品图像、视频中的缺陷对象位置进行定位和分类，并结合其他软硬件系统将结果反馈给质量检测部门，辅助部门完成对生产产品的缺陷识别，这样不仅帮助了工人们快速定位产品缺陷，并进行及时地整改，而且使得厂商生产产品质量得到一定程度的提升，进而不断提升自身的产品竞争力，为用户提供更好的服务和质量保证。
<
p>3、近年来，在传统的工业生产制造的过程中，由于在一定时间内工件的生产量较大，企业单纯安排大量人力对制造出来的工件表面存在的裂纹，凹点等缺陷进行人工肉眼识别检测，一方面耗费了大量的人力物力，另一方面上述检查过程带来的员工高强度用眼会导致部分较微小缺陷无法被检测到。这种情况可以说是制约工厂提升生产工件质量的关键因素。目前，随着人工智能技术的发展，国内外大力推进智能制造产业发展，人工智能技术的应用越来越广泛，采用机器视觉检测实现复杂工件表面缺陷的精准定位和识别的检测技术已逐渐成熟。4、缺陷检测技术的进步与发展最后都要落到对模型的实际部署与应用上，因此，对检测模型部署系统的研究就显得格外重要。但现有的缺陷检测系统，较多数采用的方案为：在终端设备采集图像，然后通过无线或有限网络上传至后端服务器中，后端服务器使用检测模型对接收到的图像进行处理和检测，之后再将检测结果信息发送至终端设备进行显示。虽然上述流程实现了前端采集图像和后端检测处理流程的解耦，但是仍无法满足对检测结果实时性要求较高的场景。此外，很多现有的缺陷检测系统往往只可以对单帧图像进行推理，而不能对视频流进行推理，即便可以推理但由于fps（画面每秒帧数）较低，会产生较大的重影，进而影响正常使用。
5、除了上述介绍的一种典型缺陷检测系统外，随着工业市场近年来对缺陷检测系统要求由原来的精度导向逐渐向精度和速度双导向转变，越来越多兼顾精度和速度的缺陷检测系统相继出现并应用。但是这些系统往往在模型推理侧采用显卡加速推理，这意味着会产生高昂的系统部署费用和后续的维护成本。这对很多企业来说都是一笔不小的开支。同时，由于采用显卡加速推理，所以在设计设备尺寸的同时需要兼顾所搭载的显卡大小。但是这样就会导致体积较大的设备在很多工业场景，例如：狭小密闭空间、非直线区域等无法使用，造成很多不便。
6、综上所述，现有的缺陷检测设备要么只考虑了精度需求，而对检测速度考虑较少；要么虽然综合考虑了检测设备的精度和速度要求，但由于设备设计尺寸过大，使用场景将会受到很多限制。
技术实现思路
1、本专利技术的目的在于克服现有的缺陷检测设备在满足精度和速度要求下场景使用受限的问题，提出了一种基于模型量化的工业缺陷检测方法及系统。
2、为达到上述目的，本专利技术采用如下技术方案：
3、一种基于模型量化的工业缺陷检测方法，包括以下步骤：
4、对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型；
5、将量化后的缺陷检测模型设置为工业内窥镜的启动程序，获取工业内窥镜拍摄的周围环境图像或视频；
6、调用量化后的缺陷检测模型结合图像高低分辨率映射推理方法对周围环境图像或视频的数据进行实时推理检测得到检测结果。
7、进一步地，所述对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型包括以下步骤：
8、对缺陷检测模型进行权重转换获得中间形式模型
9、对中间形式模型进行量化得到量化后的模型；
10、封装量化后的模型得到量化后的缺陷检测模型。
11、进一步地，所述对缺陷检测模型进行权重转换获得中间形式模型具体为：将缺陷检测模型的权重转换为中间形式权重获得中间形式模型；
12、所述缺陷检测模型的权重为pth权重，所述中间形式权重为onnx权重，所述中间形式模型为onnx中间形式模型；
13、所述量化为int8量化，所述量化后的模型为onnx量化模型；
14、所述封装使用c++语言并结合opencv库，封装过程中定义向外暴露函数访问接口。
15、进一步地，所述int8量化包括如下步骤：
16、确定量化范围，找出待量化权重的最小值和待量化权重的最大值后，使用缩放系数计算公式和零点计算公式计算得到缩放系数和零点，利用缩放系数和零点将onnx模型的原始浮点权重转换为int8整数；
17、所述缩放系数计算公式如下所示：
18、
19、其中，
scale为缩放系数，为待量化权重的最小值，为待量化权重的最大值，int8量化的值的范围为[-128,127]；
20、所述零点计算公式如下所示：
21、
22、其中，为零点，为待量化权重的最大值，
scale为缩放系数，int8量化的值的范围为[-128,127]；
23、所述利用缩放系数和零点将onnx模型的原始浮点权重转换为int8整数采用下式进行：
24、
25、其中，为int8量化后的模型权重，为onnx模型中间形式模型的权重，
round()用于将数字四舍五入到指定的小数位数
，forw in表示对中每个网络系数
w进行循环操作，
scale为缩放系数，为零点。
26、进一步地，将缺陷检测模型的权重转换为中间形式权重获得中间形式模型具体为：
27、对pth权重采用pth转onnx工具，设置模型路径与模型输入大小后在终端运行转换脚本文件，在目标路径下得到转换后的本文档来自技高网
...
【技术保护点】
1.一种基于模型量化的工业缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型包括以下步骤：
3.根据权利要求2所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对缺陷检测模型进行权重转换获得中间形式模型具体为：将缺陷检测模型的权重转换为中间形式权重获得中间形式模型；
4.根据权利要求3所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述int8量化包括如下步骤：
5.根据权利要求3所述的一种基于模型量化的工业缺陷检测方法，其特征在于，将缺陷检测模型的权重转换为中间形式权重获得中间形式模型具体为：
6.根据权利要求5所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对周围环境图像或视频进行缺陷检测包括：创建缺陷检测模型的结构体和推理函数，对单帧图像进行缺陷检测或对多帧视频进行缺陷检测；缺陷检测模型的结构体的信息包括模型置信度阈值和onnx模型推理运行session对象；推理函数包括resize_image函数、normalize函数、nms函数和detect函数；
7.根据权利要求6所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述图像高低分辨率映射推理方法包括如下步骤：
8.一种基于模型量化的工业缺陷检测系统，其特征在于，包括封装量化检测模块，用于对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型；
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项中所述的一种基于模型量化的工业缺陷检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项中所述的一种基于模型量化的工业缺陷检测方法。
...
【技术特征摘要】
1.一种基于模型量化的工业缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对缺陷检测模型使用模型量化法进行加速并封装后得到量化后的缺陷检测模型包括以下步骤：
3.根据权利要求2所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对缺陷检测模型进行权重转换获得中间形式模型具体为：将缺陷检测模型的权重转换为中间形式权重获得中间形式模型；
4.根据权利要求3所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述int8量化包括如下步骤：
5.根据权利要求3所述的一种基于模型量化的工业缺陷检测方法，其特征在于，将缺陷检测模型的权重转换为中间形式权重获得中间形式模型具体为：
6.根据权利要求5所述的一种基于模型量化的工业缺陷检测方法，其特征在于，所述对周围环境图像或视频进行缺陷检测包括：创建缺陷检测模型的结构体和推理函数，对单帧图像进行缺陷检测或...
【专利技术属性】
技术研发人员：魏平，王洋洋，毛凯，练逸扬，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。