一种宠物行为识别方法、装置和可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种宠物行为识别方法、装置和可读存储介质。其中的方法包括：获取待检测的图像帧序列，所述图像帧序列中包含待识别宠物的多帧图像；对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，所述骨骼关键点信息包括图像中待识别宠物的骨骼关键点的位置信息；根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果。本发明专利技术实施例可以克服图像帧序列中图像的颜色、曝光度、待识别宠物的体型大小等因素对宠物行为识别结果的影响，提高了宠物行为识别结果的准确度。为识别结果的准确度。为识别结果的准确度。

【技术实现步骤摘要】
一种宠物行为识别方法、装置和可读存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种宠物行为识别方法、装置和可读存储介质。

技术介绍

[0002]伴随着城市宠物数量的增长，由此引发的遛狗不牵绳、饲养禁养宠物、宠物扰民等问题，正在考验城市的智慧管理能力，给智慧城市建设带来了新的难题。
[0003]现有的宠物AI识别算法已经开放宠物品种识别、猫狗面部检测识别、宠物狗面部+鼻纹识别建档、宠物图片质量检测等智能识别能力，但针对宠物行为识别的技术还不够成熟，现有的基于深度学习的方法获取到的宠物行为识别结果不够准确。

技术实现思路

[0004]本专利技术实施例提供一种宠物行为识别方法、装置和可读存储介质，可以提高宠物行为识别结果的准确度。
[0005]第一方面，本专利技术实施例公开了一种宠物行为识别方法，所述方法包括：获取待检测的图像帧序列，所述图像帧序列中包含待识别宠物的多帧图像；对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，所述骨骼关键点信息包括图像中待识别宠物的骨骼关键点的位置信息；根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果。
[0006]第二方面，本专利技术实施例公开了一种宠物行为识别装置，所述装置包括：图像获取模块，用于获取待检测的图像帧序列，所述图像帧序列中包含待识别宠物的多帧图像；关键点检测模块，用于对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，所述骨骼关键点信息包括图像中待识别宠物的骨骼关键点的位置信息；行为识别模块，用于根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果。
[0007]第三方面，本专利技术实施例公开了一种机器可读存储介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的宠物行为识别方法。
[0008]本专利技术实施例包括以下优点：本专利技术实施例提供的宠物行为识别方法，通过对包含待识别宠物的图像帧序列进行宠物骨骼关键点检测处理，基于检测出来的待识别宠物的骨骼关键点信息进行行为识别处理，可以克服图像帧序列中图像的颜色、曝光度、待识别宠物的体型大小等因素对宠物行为识别结果的影响，提高了宠物行为识别结果的准确度。
附图说明
[0009]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0010]图1是本专利技术的一种宠物行为识别方法实施例的步骤流程图；图2是本专利技术的一种宠物行为识别方法的应用场景架构图；图3是本专利技术的一种宠物行为识别方法的流程示意图；图4是本专利技术的一种宠物行为识别装置实施例的结构框图。
具体实施方式
[0011]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]本专利技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本专利技术实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
[0013]参照图1，示出了本专利技术的一种宠物行为识别方法实施例的步骤流程图，所述方法可以包括如下步骤：步骤101、获取待检测的图像帧序列，所述图像帧序列中包含待识别宠物的多帧图像。
[0014]步骤102、对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，所述骨骼关键点信息包括图像中待识别宠物的骨骼关键点的位置信息。
[0015]步骤103、根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果。
[0016]本专利技术实施例提供的宠物行为识别方法，可以基于图像中待识别宠物的骨骼关键点信息，对待识别宠物进行行为识别处理，得到行为识别结果，提高宠物行为识别的准确度。
[0017]参照图2，示出了本专利技术实施例提供的一种宠物行为识别方法的应用场景架构图。如图2所示，本专利技术实施例提供的应该场景可以包括终端设备201和服务器202。其中，终端设备201与服务器202之间通过无线或有线网络连接。终端设备201可以包括但不限于用户设备（User Equipment，UE）、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。服务
器202可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、云通信、网络服务、中间件服务、内容分发网络（Content Delivery Network，CDN），以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备201和服务器202均可以单独执行本专利技术实施例提供的宠物行为识别方法，也可以协同执行本专利技术实施例提供的宠物行为识别方法。
[0018]其中，所述待检测的图像帧序列为从监测视频中获取的包含待识别宠物的图像帧序列。监测视频可以为具有视频采集功能的电子设备采集的视频素材，所述电子设备可以是摄像机、监控摄像头等，也可以是具有视频采集功能的终端设备201。
[0019]在一种可能的应用场景下，终端设备201通过监控摄像头获取待检测的图像帧序列，并将待检测的图像帧序列发送给服务器202。服务器202对终端设备201发送的图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，然后根据图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果，并将行为识别结果发送给终端设备201。用户可以通过终端设备201查询针对待识别宠物的行为识别结果。
[0020]在另一种可能的应用场景下，终端设备201从监控摄像头中获取待检测的图像帧序列，并对获取到的图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，然后根据图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种宠物行为识别方法，其特征在于，所述方法包括：获取待检测的图像帧序列，所述图像帧序列中包含待识别宠物的多帧图像；对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，所述骨骼关键点信息包括图像中待识别宠物的骨骼关键点的位置信息；根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述骨骼关键点信息还包括待识别宠物的骨骼关键点的时间序列标识，所述时间序列标识用于标记骨骼关键点所属的图像帧在所述图像帧序列中的排列顺序；所述根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果，包括：针对所述图像帧序列中每帧图像，按照图像中待识别宠物的骨骼关键点的位置信息，确定属于同一个待识别宠物的各个骨骼关键点之间的连接关系；根据每帧图像中属于同一个待识别宠物的各个骨骼关键点之间的连接关系，以及每帧图像中各个骨骼关键点的时间序列标识进行行为识别处理，得到所述待识别宠物的行为识别结果。3.根据权利要求2所述的方法，其特征在于，所述根据每帧图像中属于同一个待识别宠物的各个骨骼关键点之间的连接关系，以及每帧图像中各个骨骼关键点的时间序列标识进行行为识别处理，得到所述待识别宠物的行为识别结果，包括：按照所述图像帧序列中图像的排列顺序，依次将每帧图像中属于同一个待识别宠物的各个骨骼关键点之间的连接关系，以及每帧图像中各个骨骼关键点的时间序列标识，输入至第一行为识别模型的骨骼建模层中进行动态骨骼建模处理，得到待识别宠物的动态骨骼模型，所述动态骨骼模型用于反映所述图像帧序列中待识别宠物的各个骨骼关键点之间的连接关系，以及不同图像中同一个骨骼关键点的跨连续时间联系；将所述动态骨骼模型输入至所述第一行为识别模型的卷积层中进行时空卷积处理，得到所述待识别宠物的行为识别结果。4.根据权利要求1所述的方法，其特征在于，所述对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息之前，所述方法还包括：对所述图像帧序列中的每帧图像进行目标检测处理，得到每帧图像对应的检测框，所述检测框用于框选出待识别宠物在图像中的区域，一个检测框包含一个待识别宠物；所述对所述图像帧序列进行宠物骨骼关键点检测处理，得到每帧图像对应的骨骼关键点信息，包括：针对所述图像帧序列中每帧图像，对图像中包含的各个检测框分别进行宠物骨骼关键点检测处理，得到图像中包含的每个待识别宠物对应的骨骼关键点信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述图像帧序列中每帧图像对应的骨骼关键点信息进行行为识别处理，得到所述待识别宠物的行为识别结果，包括：针对所述图像帧序列中每帧图像，根据图像中包含的每个待识别宠物的骨骼关键点的位置信息，构建每个待识别宠物的宠物骨架图，所述宠物骨架图包括待识别宠物的各个骨骼关键点，且相邻的两个骨骼关键点通过直线连接；按照所述图像帧序列中图像的排列顺序，依次将每帧图像中待识别宠物的宠物骨架图
输入至第二行为识别模型中进行行为识别处理，得到所述待识别宠物的行为识别结果。6.根据权利要求4所述的方法，其特征在于，所述对所述图像帧序列中的每帧图像进行目标检测处理，得到每帧图像对应的检测框，包括：基于目标检测模型和跟踪模型对所述图像帧序列中的每帧图像进行联合处理，得到每帧图像对应的检测框；其中，所述目标检测模型用于对图像进行目标检测处理，所述跟踪模型用于对所述目标检测模型进行目标检测处理过程中出现的偏差进行矫正。7.根据权利要求4所述的方法，其特征在于，所述针对所述图像帧序列中每帧图像，对图像中包含的各个检测框分别进行宠物骨骼关键点检测处理，得到图像中包含的每个待识别宠物对应的骨骼关键点信息，包括：针对所述图像帧序列中每帧图像，对图像中包含的各个检测框分别进行宠物骨骼关键点检测处理，确定检测出的每个待识别宠物的骨骼关键点数量；若第一图像中待识别宠物的骨骼关键点数量大于或等于预设点数阈值，则根据所述待识别宠物的各个骨骼关键点在所述第一图像中的位置，确定所述待识别宠物对应的骨骼关键点信息；所述第一图像为所述图像帧序列中的任意一帧图像；若第一图像中待识别宠物对应的骨骼关键点数量小于预设点数阈值，则确定所述第一图像中针对所述待识别宠物的宠物骨骼关键点检测失败，并从所述图像帧序列中删除所述第一图像。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：若所述图像帧序列中包含的图像帧数小于预设帧数阈值，则确定针对图像帧序列的宠物骨骼关键点检测失败，中止对所述待识别宠物的行为识别处理。9.根据权利要求1至8任一项所述的方法，其特征在于，所述待识别宠物的骨骼关键点包括四肢关键点、躯干关键点和头部关键点；所述四肢关键点包括4个爪关键点、4个肘关键点和4个膝盖关键点；所述躯干关键点包括：屁股关键点和脖子关键点；所述头部关键点包括左右眼关键点和鼻子关键点。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对待识别宠物构建训练样本集，所述训练样本集包括待识别宠物的图像样本和所述图像样本对应的标注信息；根据所述训练样本集对深度学习模型进行迭代训练，得到所述图像样本对应的处理结果；根据所述处理结果和所述标注信息，计算所述深度学习模型的损失值，并根据所述损失值调整所述深度学习模型的模型参数，直至满足预设终止条件，得到训练完成的深度学习模型；其中，所述深度学习模型包括第一行为识别模型、第二行为识别模型、目标检测模型、跟踪...

【专利技术属性】
技术研发人员：吕钦，凌明，杨作兴，艾国，
申请(专利权)人：深圳比特微电子科技有限公司，
类型：发明
国别省市：