生猪行为自动监测系统及方法技术方案

本发明专利技术公开了一种生猪行为自动监测系统及方法。所述系统包括多模态信息采集模块、多模态信息融合模块和行为识别模块：多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过传感器采集生猪个体的时序运动信息，然后将采集的多模态信息发送给多模态信息融合模块；多模态信息融合模块将视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后进行特征抽取，将每个生猪个体的多模态特征发送给行为识别模块；行为识别模块识别出每个生猪个体的静态行为或动态行为。本发明专利技术的技术方案充分利用了视频技术在宏观视觉表现的直观性及传感器技术在微观参数获取方面的灵敏性，实现了生猪行为监测的精准化和自动化。

【技术实现步骤摘要】

本专利技术涉及动物行为监测
，特别涉及一种融合视频与传感器信息的。
技术介绍
我国是世界上最大的猪肉生产国和消费国，猪肉作为人们日常生活必不可少的消费品和营养品，其产量和质量与人民的健康生活息息相关。虽然我国已基本形成高密度、集中化的养猪体系，但是仍然存在着猪肉质量不高、出栏率低、生产效率低、养猪成本居高不下等诸多问题。其主要原因在于生猪养殖过分依赖劳动密集型的粗放型经营，生产过程自动化水平低，各生产环节中处置的精准性、针对性明显不足，不能有效地察觉猪在成长过程中的生理、心理需求和变化，导致猪福利下降、猪肉营养价值不高、养殖资源大量浪费等问题。因此，在养猪生产活动中，高效、主动的监控生猪的各种行为，主动地维护生猪的正常行为，及时准确地诊断异常行为，对于提高商品猪的养殖生产效率、维护猪的福利、提高猪肉的营养水平都有十分 重要的经济意义，这也是当前精准养殖所研究的主要方向。当前，我国主要采用传统的人工观察方法对猪的行为进行观察判断，不仅费时费力、效率不高，而且由于人的时间精力限制，很容易忽视养殖过程中的一些异常的行为表现，从而造成严重的经济损失。
技术实现思路
(一)所要解决的技术问题本专利技术的目的在于提供一种融合视频与传感器信息的，以解决现有生猪养殖方法中存在的人工监测费时费力、效率不高，且无法科学、准确、全面地监测生猪行为的问题。(二)技术方案为了解决上述技术问题，本专利技术提出了一种生猪行为自动监测系统，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中:所述多模态信息采集模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，还包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。可选的，所述多模态信息采集模块包括视频信息采集子模块、传感器信息采集子模块和数据传输子模块，其中:所述视频信息采集子模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，并将采集的视频信息传送给所述数据传输子模块；所述传感器信息采集子模块包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，并将采集的时序运动信息传送给所述数据传输子模块；所述数据传输子模块用于通过有线或无线的方式将接收到的多模态信息发送给所述多模态信息融合模块。可选的，所述多模态信息融合模块包括对齐同步子模块和特征抽取子模块，其中:所述对齐同步子模块用于接收来自所述多模态信息采集模块的多模态信息，将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，并将每个生猪个体的多模态信息传送给所述特征抽取子模块；所述特征抽取子模块用于对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块。可选的，所述特征抽取子模块用于从每个生猪个体的视频信息中提取生猪个体的形状特征和关键语义场景的语义特征，并从每个生猪个体的时序运动信息中提取时域特征和频域特征，然后将得到的每个生猪个体的多模态特征发送给所述行为识别模块，所述多模态特征包括生猪个体的形状特征、语义特征、时域特征和频域特征。可选的，所述行为识别模块包括行为分类子模块、静态行为识别子模块和动态行为识别子模块，其中:所述行为分类子模块用于接收每个生猪个体的多模态特征，并根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；所述静态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为； 所述动态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的动态行为。基于所述的生猪行为自动监测系统，本专利技术同时提出了一种生猪行为自动监测方法，所述方法包括以下步骤:S1、所述多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，然后通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；S2、所述多模态信息融合模块将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；S3、所述行为识别模块根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。可选的，步骤S2中，将所述多模态信息中的视频信息与时序运动信息进行对齐同步具体包括:S201、采用目标跟踪算法从摄像机采集的视频信息中获取每个生猪个体的时序运动信息；S202、分别对步骤S201得到的时序运动信息及微型传感器采集的时序运动信息进行采样和归一化处理；S203、采用动态规划算法将步骤S201得到的时序运动信息与微型传感器采集的时序运动信息进行对齐同步，并采用欧式距离度量两条时序运动信息的相似度，当欧式距离小于预设的阈值时，判定两条时序运动信息对应于同一个生猪个体。可选的，步骤S3具体包括:S301、所述行为分类子模块接收到每个生猪个体的多模态特征后，根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；S302、所述静态行为识别子模块或所述动态行为识别子模块根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为或动态行为。可选的，步骤S301具体包括:所述行为分类子模块根据生猪个体的时域特征，采用无监督的K均值聚类算法对时域特征进行分类，K=2，并将得到的两类中心的均值作为分类阈值，大于所述分类阈值的判定为动态行为，小于所述分类阈值的判定为静态行为。可选的，步骤S302具体包括:所述静态行为识别子模块采用SVM统计模块为生猪的静态行为建模，并通过生猪个体的形状特征，识别出生猪个体的静态行为；所述动态行为识别子模块采用隐马尔科夫模块为生猪的动态行为建模，并通过生猪个体的语义特征、时域特征和频域特征，识别出生猪个体的动态行为。(三)有益效果与现有技术相比，本专利技术提出的技术方案具有如下优点:1、针对生猪个体行为的复杂性，单从传感器信息中无法识别生猪个体的行为，而单独的视频信息亦无法判断生猪个体的身份。本专利技术提出的技术方案通过对视频信息和传感器信息的融合分析，实现了对视频中的生猪个体的身本文档来自技高网...

【技术保护点】
一种生猪行为自动监测系统，其特征在于，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中：所述多模态信息采集模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，还包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨颖，高万林，孙瑞志，郑丽敏，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：