基于BIM和人工智能的家禽进食并行异常检测方法技术

本发明专利技术公开了一种基于BIM和人工智能的家禽进食并行异常检测方法，包括：对禽舍图像进行拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；对禽舍全景图像进行家禽检测；对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测；将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行热图叠加；将叠加结果输入家禽异常进食分析神经网络，得到家禽异常进食等级，并生成异常进食信号；对禽舍建筑信息模型中的多种信息进行可视化。利用本发明专利技术，实现了自动化的家禽进食状态监控，检测效率高、检测准确率高。

【技术实现步骤摘要】
基于BIM和人工智能的家禽进食并行异常检测方法
本专利技术属于人工智能、BIM、智慧畜牧
，具体涉及一种基于BIM和人工智能的家禽进食并行异常检测方法。
技术介绍
随着我国经济的快速发展，我国畜禽养殖业的迅猛发展。相应的，畜禽养殖业的养殖规模、养殖方式发生了巨大的变化。传统的养殖手段和经验方法由于其成本高昂，管理混乱，已不适应当前的行业发展。因此，畜禽养殖业迫切需要依靠前沿科技手段，建立其数字化、精细化和智能化的产业养殖管理模式。家禽若出现病态，最明显的表现就是在一段时间内进食减少，关注一段时间内家禽的进食状态可以及时发现家禽潜在疾病的问题。在养殖生产当中，家禽的状态监控有很大的挑战性。一些研究根据动物包围框与食槽包围框的交并比对进食状态进行监控，对进食时间进行统计分析。首先，交并比不能很好的表征动物是否是在进食状态，因此检测精度不高。由于交并比的表征能力不强，进食时间统计也存在精度不高的问题。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于BIM和人工智能的家禽进食并行异常检测方法。一种基于BIM和人工智能的家禽进食并行异常检测方法，该方法包括：构建禽舍区域建筑信息模型以及信息交换模块；使用模拟器生成不同视角下家禽不同进食情况下的家禽头部关键点移动轨迹，根据家禽头部关键点移动轨迹生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注；利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络，家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级；将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息；根据家禽以及食槽包围框信息对禽舍全景图像进行裁剪截取，截取每只家禽感兴趣区域图像；基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图；针对每只家禽，将家禽头部关键点映射回禽舍全景图像，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行逐像素叠加，得到该家禽的时段热度叠加图像；将家禽的时段热度叠加图像输入家禽异常进食分析神经网络，得到家禽异常进食等级；若家禽异常进食等级大于设定阈值，生成异常进食信号，利用信息交换模块将异常进食信号至禽舍区域信息模型；结合WebGIS技术对禽舍建筑信息模型中的多种信息进行可视化，多种信息包括：禽舍区域三维空间模型、禽舍全景图像、家禽异常进食等级、异常进食信号。根据家禽头部关键点移动轨迹生成时段热度叠加图像具体为：对家禽头部关键点移动轨迹中的每个轨迹点进行高斯模糊处理，得到时段热度叠加图像。将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像包括：提取待拼接禽舍图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到禽舍全景图像。家禽及食槽检测神经网络包括：家禽及食槽检测编码器，对禽舍全景图像进行编码、提取特征，得到第一特征图；第一全连接网络，对第一特征图进行分析，得到家禽包围框锚点与家禽包围框宽、高以及食槽包围框锚点与食槽包围框宽、高。家禽头部检测神经网络包括：家禽头部关键点检测编码器，对家禽图像进行特征提取，得到第二特征图；家禽头部关键点检测解码器，对第二特征图进行上采样重构，得到家禽头部关键点热力图，其中的热斑表征家禽头部关键点置信度。本专利技术与现有技术相比，具有以下有益效果：1.本专利技术对摄像头实时采集的禽舍图像进行拼接、融合后的禽舍全景图像进行分析，避免了重复检测，节省了系统资源，提高了家禽进食异常检测的效率。2.本专利技术使用模拟器生成时段热度叠加图像，训练家禽异常进食分析神经网络，不用耗费大量时间来收集构建样本，而且能够获得较好的训练效果，提高本专利技术方法的运算效率。3.本专利技术首先利用家禽检测神经网络识别所有家禽，然后根据神经网络输出的包围框信息截取家禽图像，进而对每只家禽的进食情况进行分析，提高了每只家禽进食情况分析的准确率。4.本专利技术采用家禽头部关键点检测神经网络对每只家禽的头部进行识别，抗遮挡效果好，为后续家禽进食情况分析提供更精确的检测结果。5.本专利技术采用热度叠加的方法对家禽头部关键点热力图进行叠加，得到时段热度叠加图像，该图像能够反映家禽在时段内头部移动轨迹，进而反映家禽进食情况，热度叠加方法计算效率高，而且表征能力强，提高了家禽异常进食分析的准确率。6.本专利技术设计了家禽异常进食分析神经网络对时段热度叠加图像进行分析，能够自动获得家禽进食异常分析结果，无需人工进行统计分析，避免了人工统计分析主观因素的影响，而且提高了本专利技术方法的智能化程度。7.本专利技术结合建筑信息模型，构建了禽舍建筑信息模型，禽舍建筑信息模型能够集成多种信息，方便信息管理，而且结合WebGIS技术进行可视化后，能够使监管人员更加清晰明确地了解禽舍内家禽进食情况。附图说明图1为本专利技术方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于BIM和人工智能的家禽进食并行异常检测方法。图1为本专利技术方法流程图。下面通过具体实施例来进行说明。实施例一：先构建当前禽舍区域建筑信息模型BIM(BuildingInformationModeling)及其信息交换模块。禽舍区域BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台。禽舍区域BIM包括禽舍区域的地理位置信息、禽舍区域围栏信息、禽舍区域过道信息、家禽笼子摆放信息、家禽笼子几何架构信息等各种用于禽舍区域BIM三维空间模型建模所需信息。禽舍区域BIM还包括当前区域内所使用的图像传感器型号、分辨率、数量及其各自在禽舍内部的编号信息。禽舍区域BIM可以通过信息交换模块接收当前区域内所有传感器感知的数据，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。例如，禽舍区域BIM可以接受图像采集装置实时采集的图像，并通过WebGIS技术进行可视化。禽舍区域建筑信息模型可以将收集到的数据整合，输出异常信息，并与WebGIS模块建立通信，在Web端将异常信息展示，同时发出警告信息。本专利技术主要针对养殖舍内家禽的进食状态进行监测。具体地，基于对家禽头部轨迹进行分析，以得到进食分析结果。对家禽头部轨迹进行分析，本文档来自技高网...

【技术保护点】
1.一种基于BIM和人工智能的家禽进食并行异常检测方法，其特征在于，该方法包括：/n构建禽舍区域建筑信息模型以及信息交换模块；/n使用模拟器生成不同视角下家禽不同进食情况下的家禽头部关键点移动轨迹，根据家禽头部关键点移动轨迹生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注；/n利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络，家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级；/n将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；/n基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息；/n根据家禽以及食槽包围框信息对禽舍全景图像进行裁剪截取，截取每只家禽感兴趣区域图像；/n基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图；/n针对每只家禽，将家禽头部关键点映射回禽舍全景图像，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行逐像素叠加，得到该家禽的时段热度叠加图像；/n将家禽的时段热度叠加图像输入家禽异常进食分析神经网络，得到家禽异常进食等级；/n若家禽异常进食等级大于设定阈值，生成异常进食信号，利用信息交换模块将异常进食信号至禽舍区域信息模型；/n结合WebGIS技术对禽舍建筑信息模型中的多种信息进行可视化，多种信息包括：禽舍区域三维空间模型、禽舍全景图像、家禽异常进食等级、异常进食信号。/n...

【技术特征摘要】
1.一种基于BIM和人工智能的家禽进食并行异常检测方法，其特征在于，该方法包括：
构建禽舍区域建筑信息模型以及信息交换模块；
使用模拟器生成不同视角下家禽不同进食情况下的家禽头部关键点移动轨迹，根据家禽头部关键点移动轨迹生成时段热度叠加图像，构建时段热度叠加图像样本集并进行标注；
利用标注后的时段热度叠加图像样本集训练家禽异常进食分析神经网络，家禽异常进食分析神经网络包括：家禽异常进食分析编码器，对时段热度叠加图像进行分析，得到第三特征图；第二全连接网络，对第三特征图进行加权分类，得到家禽异常进食等级；
将摄像头实时采集的禽舍图像进行图像拼接、融合得到禽舍全景图像，将禽舍全景图像投影变换至禽舍建筑信息模型；
基于家禽及食槽检测神经网络对禽舍全景图像进行家禽检测，得到家禽以及食槽包围框信息；
根据家禽以及食槽包围框信息对禽舍全景图像进行裁剪截取，截取每只家禽感兴趣区域图像；
基于家禽头部关键点检测神经网络对投放食物后的一段时间内每只家禽感兴趣区域图像进行头部关键点检测，得到家禽头部关键点热力图；
针对每只家禽，将家禽头部关键点映射回禽舍全景图像，将投放食物后的一段时间内家禽头部关键点落入食槽感兴趣区域的家禽头部关键点热力图进行逐像素叠加，得到该家禽的时段热度叠加图像；
将家禽的时段热度叠加图像输入家禽异常进食分析神经网络，得到家禽异常进食等级；
若家禽异常进食等级大于设定阈值，生成异常进食信号，利用...

【专利技术属性】
技术研发人员：李文倩，张越，
申请(专利权)人：郑州市鼎晶信息技术有限公司，
类型：发明
国别省市：河南;41