【技术实现步骤摘要】
本专利技术涉及姿态识别与评价，尤其涉及一种宠物精彩片段提取方法及系统。
技术介绍
1、随着人工智能和物联网技术的迅速发展，宠物监控成为了智能化家庭监管中的一个新兴应用场景。在这一背景下，养宠物的家庭有着记录宠物精彩片段的需求，宠物监控技术能够帮助宠物主人随时关注宠物的状态，及时发现异常情况并采取有效措施。此外，该技术还可以将宠物精彩瞬间保存下来，方便宠物主人回顾、分享和留念。然而，目前市面上的宠物监控设备主要功能在提供实时影像，现有技术也主要集中在如何准确识别出宠物及在画面中的位置，缺少能够对宠物精彩片段进行识别和评分的方法；同时，现有技术中，宠物主人需要手动选择和记录宠物的精彩片段，增加了人为因素的干扰和工作负担；此外，现有技术主要是实时观察宠物的情况，但对于宠物的具体行为和姿态的监控有限。
技术实现思路
1、本专利技术意在提供一种宠物精彩片段提取方法及系统，以解决现有技术中存在的不足，本专利技术要解决的技术问题通过以下技术方案来实现。
2、本专利技术提供的宠物精彩片段提取方法，包括：
3、通过摄像头采集多个宠物动作视频片段，并将其作为候选片段，以及将候选片段解码为帧序列，获取帧序列中每帧对应的绝对时间戳；
4、通过预训练的宠物识别模型对帧序列中的每一帧进行宠物识别，获取宠物图像帧，对宠物图像帧中宠物名称及其对应的识别置信度进行记录，并将满足识别置信度阈值的宠物图像帧标记为候选帧；
5、对相邻的候选帧进行匹配，形成候选片段，基于相邻
6、通过对有效片段中每帧设置相应的权重，获取有效片段对应的置信度得分，通过对有效片段中每帧进行姿态评分，并对各帧的姿态评分求平均数获取有效片段对应的宠物姿态评分，通过对置信度得分和宠物姿态评分进行加权求和获取各个有效片段对应的静态评分；
7、通过对所有有效片段进行运动特征向量提取，并将提取的运动特征向量输入至训练完成的运动估计评分模型中，获取所有有效片段的动态评分，并对所有有效片段的动态评分求平均数获取各个有效片段的动态评分；
8、将静态评分和动态评分进行加权求和，获取各个有效片段对应的运动得分，并将运动得分高于运动得分阈值的有效片段作为宠物的精彩片段。
9、在上述的方案中，对相邻的候选帧进行匹配，形成候选片段，基于相邻的候选帧分别对应的绝对时间戳，获取相邻候选帧之间的时间间隔，并对满足时间间隔阈值的候选片段进行长度判断，根据判断结果获取有效片段包括：
10、对候选片段中相邻的候选帧分别对应的绝对时间戳进行相减，获取候选片段中相邻候选帧之间的时间间隔；
11、在候选片段中相邻候选帧之间的时间间隔小于时间间隔阈值时，判断其长度是否在长度阈值范围内；
12、将在长度阈值范围内且相邻候选帧之间的时间间隔小于时间间隔阈值的候选片段作为有效片段。
13、在上述的方案中，通过置信度得分计算公式获取有效片段对应的置信度得分，其中，置信度得分计算公式为：
14、，其中，sconfidence为置信度得分，n为有效片段中帧的数量，wt为有效片段中第t个帧对应的权重，ct为有效片段中第t个帧对应的识别置信度。
15、在上述的方案中，对所有有效片段进行运动特征向量提取包括：
16、匹配所有有效片段中相邻两帧的对应像素点，基于相邻两帧的对应像素点获取各个有效片段中相邻两帧分别对应的图像矩阵，并计算各个有效片段中相邻两帧分别对应的图像矩阵之间的差异，将相邻两帧分别对应的图像矩阵之间的差异作为宠物在相邻两帧之间的运动差异矩阵；
17、基于有效片段中待分析帧中的某一像素的位置以及该像素在与待分析帧相邻的前一个帧中的位置计算光流向量，并通过光流向量获取宠物运动方向、宠物运动速度和宠物运动加速度特征；
18、将获取的运动差异矩阵、宠物运动方向、宠物运动速度和宠物运动加速度特征组合起来，构建各个有效片段对应的运动特征向量，并将所有有效片段对应的运动特征向量组合起来，形成运动特征向量序列。
19、在上述的方案中，在将提取的运动特征向量输入至训练完成的运动估计评分模型之前，对提取的运动特征向量进行降维处理，计算经过降维处理的运动特征向量之间的皮尔逊相关系数，并通过皮尔逊相关系数对经过降维处理的运动特征向量进行相关性筛选。
20、在上述的方案中，通过静态评分计算公式对置信度得分和宠物姿态评分进行加权求和获取各个有效片段对应的静态评分，其中，静态评分计算公式为：sstatic=αsconfidence+（1-α）sposture，其中，sstatic为静态评分，sconfidence为置信度得分,sposture为宠物姿态评分,α为静态评分系数。
21、在上述的方案中，通过运动得分计算公式将静态评分和动态评分进行加权求和，获取各个有效片段对应的运动得分，其中，运动得分计算公式为：finalscore=βsdynamic+（1-β）sstatic，其中，finalscore为运动得分，sdynamic为动态评分,sstatic为静态评分，β为运动得分系数。
22、本专利技术提供的宠物精彩片段提取系统，采用如上所述的宠物精彩片段提取方法进行宠物精彩片段提取，包括：
23、候选片段采集模块，用于通过摄像头采集多个宠物动作视频片段，并将其作为候选片段，以及将候选片段解码为帧序列，获取帧序列中每帧对应的绝对时间戳；
24、候选帧获取模块，用于通过预训练的宠物识别模型对帧序列中的每一帧进行宠物识别，获取宠物图像帧，对宠物图像帧中宠物名称及其对应的识别置信度进行记录，并将满足识别置信度阈值的宠物图像帧标记为候选帧；
25、有效片段获取模块，用于对相邻的候选帧进行匹配，形成候选片段，基于相邻的候选帧分别对应的绝对时间戳，获取相邻候选帧之间的时间间隔，并对满足时间间隔阈值的候选片段进行长度判断，根据判断结果获取有效片段；
26、静态评分获取模块，用于通过对有效片段中每帧设置相应的权重，获取有效片段对应的置信度得分，通过对有效片段中每帧进行姿态评分，并对各帧的姿态评分求平均数获取有效片段对应的宠物姿态评分，通过对置信度得分和宠物姿态评分进行加权求和获取各个有效片段对应的静态评分；
27、动态评分获取模块，用于通过对所有有效片段进行运动特征向量提取，并将提取的运动特征向量输入至训练完成的运动估计评分模型中，获取所有有效片段的动态评分，并对所有有效片段的动态评分求平均数获取各个有效片段的动态评分；
28、精彩片段获取模块，用于将静态评分和动态评分进行加权求和，获取各个有效片段对应的运动得分，并将运动得分高于运动得分阈值的有效片段作为宠物的精彩片段。
29、在上述的方案中，所述摄像头内置视频识别单元、sdk单本文档来自技高网...
【技术保护点】
1.一种宠物精彩片段提取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，对相邻的候选帧进行匹配，形成候选片段，基于相邻的候选帧分别对应的绝对时间戳，获取相邻候选帧之间的时间间隔，并对满足时间间隔阈值的候选片段进行长度判断，根据判断结果获取有效片段包括：
3.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，通过置信度得分计算公式获取有效片段对应的置信度得分，其中，置信度得分计算公式为：
4.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，对所有有效片段进行运动特征向量提取包括：
5.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，在将提取的运动特征向量输入至训练完成的运动估计评分模型之前，对提取的运动特征向量进行降维处理，计算经过降维处理的运动特征向量之间的皮尔逊相关系数，并通过皮尔逊相关系数对经过降维处理的运动特征向量进行相关性筛选。
6.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，通过静态评分计算公式对置信度得分和宠物姿态评分进行加权求和获取各个有
7.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，通过运动得分计算公式将静态评分和动态评分进行加权求和，获取各个有效片段对应的运动得分，其中，运动得分计算公式为：FinalScore=βSDynamic+（1-β）Sstatic，其中，FinalScore为运动得分，SDynamic为动态评分,Sstatic为静态评分，β为运动得分系数。
8.一种宠物精彩片段提取系统，采用如权利要求1-7任一项所述的宠物精彩片段提取方法进行宠物精彩片段提取，其特征在于，所述系统包括：
9.根据权利要求8所述的宠物精彩片段提取系统，其特征在于，所述摄像头内置视频识别单元、SDK单元和ffmpeg单元，所述视频识别单元用于检测宠物动作视频片段；所述SDK单元用于将检测到宠物动作视频片段发送至云端网络；所述ffmpeg单元用于对云端网络接收到的宠物动作视频片段解码为帧序列，获取帧序列中每帧对应的绝对时间戳。
10.根据权利要求8所述的宠物精彩片段提取系统，其特征在于，通过训练完成的姿态评估模型对有效片段中每帧进行姿态评分，所述姿态评估模型包括数据采集单元、数据处理单元、特征提取单元、分类器单元和评估单元，所述数据采集单元用于采集宠物影像数据；所述数据处理单元用于对采集的宠物影像数据进行包括姿态标注和数据增强的预处理；所述特征提取单元用于对经过预处理的宠物影像数据进行特征提取；所述分类器单元用于基于提取的特征预测出宠物的姿态信息；所述评估单元用于基于预测出的宠物的姿态信息获取宠物姿态的评分，并输出评分结果。
...【技术特征摘要】
1.一种宠物精彩片段提取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，对相邻的候选帧进行匹配，形成候选片段，基于相邻的候选帧分别对应的绝对时间戳，获取相邻候选帧之间的时间间隔，并对满足时间间隔阈值的候选片段进行长度判断，根据判断结果获取有效片段包括：
3.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，通过置信度得分计算公式获取有效片段对应的置信度得分，其中，置信度得分计算公式为：
4.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，对所有有效片段进行运动特征向量提取包括：
5.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，在将提取的运动特征向量输入至训练完成的运动估计评分模型之前，对提取的运动特征向量进行降维处理，计算经过降维处理的运动特征向量之间的皮尔逊相关系数，并通过皮尔逊相关系数对经过降维处理的运动特征向量进行相关性筛选。
6.根据权利要求1所述的宠物精彩片段提取方法，其特征在于，通过静态评分计算公式对置信度得分和宠物姿态评分进行加权求和获取各个有效片段对应的静态评分，其中，静态评分计算公式为： sstatic=αsconfidence+（1-α）sposture，其中，sstatic为静态评分，sconfidence为置信度得分,sposture为宠物姿态评分,α为静态评分系数。
7.根据权利要求1所述的宠物精彩片段提取方法，其特征...
【专利技术属性】
技术研发人员：凌煜清，张留祺，王越，
申请(专利权)人：联通在线信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。