【技术实现步骤摘要】
本专利技术涉及基于ai的图像识别领域，尤其涉及一种基于视频ai分析的屠宰场智能监控方法及系统。
技术介绍
1、动物屠宰场主要工作包括动物检疫、动物屠宰和动物清理，目前关于屠宰场场景的创新主要集中在检疫装置、屠宰装置和清洁装置的改进。基于食品和防疫安全等需求，按照动物卫生监督相关部门的要求，在屠宰场整个运行过程中，需要按照标准化规范进行操作。在将生猪宰杀后吊挂进行其它操作时需要确认猪头的朝向一致，并且猪不允许着地。目前监管方法一般是相关管理人员到现场随机进行抽查巡检，或者安装固定相机通过监控平台进行实时监控和历史录像复查，存在人力消耗大、监管滞后、监管不完全等缺点。
技术实现思路
1、专利技术目的：提出一种基于视频ai分析的屠宰场智能监控方法及系统，提出了改进的深度网络结构yolov5-det-seg-landmark。此网络结构实现了通过一次推理即可获取多重信息，包括目标检测的坐标位置信息、目标区域的像素分割信息和目标关键点的位置信息，相比常规网络的单一性获取了更全方位的信息，深度适配业务场景。为了提升模型的精准性，改进了深度网络的骨干层和特征融合层的基础模块以提升特征表达能力。为了提升分割效果，此网络结构针对性地构建了分割特征增强模块，更好地区分了目标区域和地面区域。
2、在改进型网络结构yolov5-det-seg-landmark的基础上，本专利技术针对屠宰规范设计了一套完整的ai算法分析方案，实现了对屠宰环节规范性的智能判断。该ai方案的流程包括图像预处理、改进
3、最后本专利技术搭建了一整套智慧屠宰场监管系统，提供视频采集、拉流、抽帧、解码、ai算法分析、结果存储、展示和告警通知等完整的服务。基于视频ai分析对屠宰场相关操作进行分析和理解，智能判断屠宰场景和操作流程是否符合标准规范，对不合理情况给出识别结果，在满足业务预设逻辑时发出告警给相关管理和操作人员以及时处理，解决了人力消耗大、监管滞后、监管不完全的问题。
4、第一方面，提出一种基于视频ai分析的屠宰场智能监控方法，步骤如下：
5、s1、选取yolov5作为基础目标检测网络，在所述基础目标检测网络之上增加关键点回归分支，并构建分割特征增强模块，得到改进深度网络模型；
6、s2、对所述改进深度网络模型进行网络训练，得到场景深度适配的网络模型；将所述场景深度适配的网络模型部署至推理服务器；
7、s3、在屠宰场内根据实际环境安装若干高清摄像机，由所述高清摄像机实时获取预定视野范围内的视频流；
8、s4、后台服务器在所述视频流内抽取预定数量的视频帧，将所述视频帧送入所述推理服务器；
9、s5、所述推理服务器对当前视频帧执行分析，输出分析结果至后台服务器；所述分析结果包括每个猪的位置信息、关键点信息、猪头朝向信息、猪头和地面接触的判断信息；
10、s6、所述后台服务器基于所述分析结果做出判断：若猪头朝向不一致或猪头和地面接触则判定违规，将出现问题的图片帧的相关信息写入到数据库保存。
11、在第一方面进一步的实施例中，步骤s2中对所述改进深度网络模型进行网络训练，包括：
12、架设若干相机获取全天候的屠宰场视频；选取不同时间段、不同角度、不同场景下的视频进行抽帧后清洗获取若干图片数据，作为数据集；
13、以多边形标注方式对所述图片数据中猪的像素区域进行分割，以点标注形式获取猪的关键点位置坐标，标注完成后生成json文件；
14、将所述json文件转换为txt文件，所述txt文件中的每一行包含类别下标、归一化的分割描述点坐标、分割点集和关键点集的分隔标识、归一化的猪头中心坐标、归一化的猪身中心坐标、归一化的猪尾部中心坐标；中间用空格分割，不同目标物体用换行符；
15、基于所述txt文件训练得到预训练模型，在所述预训练模型的基础上进行垂直类模型的微调。
16、在第一方面进一步的实施例中，步骤s4中后台服务器在所述视频流内抽取预定数量的视频帧，包括：
17、后台服务器对视频流进行拉流、抽帧和解码，包括打开rtsp流、选取流中的视频流、获取视频流编码格式、用指定解码器打开流、读取帧、解码帧、数据格式转换、图片base64编码。
18、在第一方面进一步的实施例中，步骤s5中所述推理服务器对当前视频帧执行分析，包括：
19、读取base64格式的图片，对base64格式的图片进行解码、转换为opencv或numpy格式，然后对图像进行预处理，包括图像增强，图像滤波、去光照影响和图像尺度缩放；
20、将缩放后的图片送入triton服务调用内部算法分析接口，得到triton返回的结果信息，所述结果信息包括猪的位置信息、关键点信息和像素分割信息；
21、基于每个猪的关键点，计算距离d：
22、
23、式中，(xm,ym)表示猪头中心高度坐标；(xn,yn)表示猪尾中心高度坐标；
24、若距离d为正值，则猪头朝上；反之则猪头朝下。
25、在第一方面进一步的实施例中，所述推理服务器对当前视频帧执行分析，还包括：猪身的中心点位于猪头中心和猪尾部中心的连接中点附近预定范围，如果偏差大于预定范围，则判断检测不准确。
26、在第一方面进一步的实施例中，所述推理服务器对当前视频帧执行分析，还包括：
27、对于每一个猪的像素分割区域，寻找其所有轮廓，根据轮廓面积选择最大的若干个轮廓区域和其对应的像素区域，将其作为现在猪的像素区域；
28、从参考图中读取地面区域的像素区域，对于每个猪，计算每个猪的像素区域和参考区域的重叠像素的面积，然后除以每个猪的像素面积得到比值，当猪的像素区域大于一定值并且比值大于阈值则判定猪着地。
29、视频流每预定时间间隔抽取1帧图片，如果在1分钟内出现的告警次数达到预设值，web前端及时展示告警信息并通过现场设备语音告警。
30、本专利技术的第二个方面，提出一种动物屠宰场智能监控系统，该动物屠宰场智能监控系统包括：
31、若干高清摄像机；所述高清摄像机部署在屠宰场内，由所述高清摄像机实时获取预定视野范围内的视频流；
32、后台服务器；所述后台服务器在所述视频流内抽取预定数量的视频帧，将所述视频帧送入推理服务器；
33、推理服务器；所述推理服务器上部署有场景深度适配的网络模型，推理服务器对当前视频帧执行分析，输出分析结果至后台服务器；所述分析结果包括每个猪的位置信息、关键点信息、猪头朝向信息、猪头和地面接触的判断信息；
34、所述后台服务器还基于所述分析结果做出判断：若猪头朝向不一致或猪头和地面接触则判定违规，将出现问题的图本文档来自技高网...
【技术保护点】
1.一种基于视频AI分析的屠宰场智能监控方法，其特征在于，包括：
2.根据权利要求1所述的屠宰场智能监控方法，其特征在于，步骤S2中对所述改进深度网络模型进行网络训练，包括：
3.根据权利要求1所述的屠宰场智能监控方法，其特征在于，步骤S4中后台服务器在所述视频流内抽取预定数量的视频帧，包括：
4.根据权利要求3所述的屠宰场智能监控方法，其特征在于，步骤S5中所述推理服务器对当前视频帧执行分析，包括：
5.根据权利要求4所述的屠宰场智能监控方法，其特征在于，所述推理服务器对当前视频帧执行分析，还包括：猪身的中心点位于猪头中心和猪尾部中心的连接中点附近预定范围，如果偏差大于预定范围，则判断检测不准确。
6.根据权利要求5所述的屠宰场智能监控方法，其特征在于，所述推理服务器对当前视频帧执行分析，还包括：
7.根据权利要求1所述的屠宰场智能监控方法，其特征在于，步骤S6还包括：视频流每预定时间间隔抽取1帧图片，如果在1分钟内出现的告警次数达到预设值，Web前端及时展示告警信息并通过现场设备语音告警。
8
9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1至7中任一项所述的屠宰场智能监控方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一个可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1至7中任一项所述的屠宰场智能监控方法。
...【技术特征摘要】
1.一种基于视频ai分析的屠宰场智能监控方法，其特征在于，包括：
2.根据权利要求1所述的屠宰场智能监控方法，其特征在于，步骤s2中对所述改进深度网络模型进行网络训练，包括：
3.根据权利要求1所述的屠宰场智能监控方法，其特征在于，步骤s4中后台服务器在所述视频流内抽取预定数量的视频帧，包括：
4.根据权利要求3所述的屠宰场智能监控方法，其特征在于，步骤s5中所述推理服务器对当前视频帧执行分析，包括：
5.根据权利要求4所述的屠宰场智能监控方法，其特征在于，所述推理服务器对当前视频帧执行分析，还包括：猪身的中心点位于猪头中心和猪尾部中心的连接中点附近预定范围，如果偏差大于预定范围，则判断检测不准确。
6.根据权利要求5所述的屠宰场智能监控方法，...
【专利技术属性】
技术研发人员：黄坤，周伟，阎佳安，
申请(专利权)人：中电鸿信信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。