一种行为检测方法、装置及设备制造方法及图纸

本申请提供一种行为检测方法、装置及设备，该方法包括：获取待检测视频，待检测视频包括多个待检测图像；从多个待检测图像中选取同一目标对象的多个目标待检测图像，基于多个目标待检测图像获取目标对象的切片序列；根据所述切片序列获取目标对象的多个行为特征；针对每个行为特征，基于指定类型行为对应的多个类簇中心特征，确定所述行为特征与每个类簇中心特征的相似度；基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征；基于所述多个行为特征对应的目标类簇中心特征确定待检测视频存在所述指定类型行为，或待检测视频不存在所述指定类型行为。通过本申请的技术方案，视频行为检测的准确性高。测的准确性高。测的准确性高。

【技术实现步骤摘要】
一种行为检测方法、装置及设备


[0001]本申请涉及视频监控
，尤其涉及一种行为检测方法、装置及设备。

技术介绍

[0002]视频是连续的图像序列，由连续的图像构成。由于人眼的视觉暂留效应，当视频以一定速率播放时，人眼看到的就是动作连续的图像序列。
[0003]视频行为序列合规性检测是一种分析目标行为是否符合规范的智能分析手段，用于判断视频中的目标行为序列是否合规。视频行为序列合规性检测技术可以广泛应用于安防监控领域、人机交互领域、智能园区、智慧课堂、智慧农场等应用场景。例如，视频行为序列合规性检测技术可以检测工业生产流程中操作员的行为序列是否符合标准行为规范，检测厨师的行为序列是否符合餐饮规范，检测动物摄食动作序列是否合规，检测学生化学实验操作是否合规等。
[0004]在相关技术中，视频行为序列合规性检测技术存在检测准确性不高，检测方式复杂等问题，缺少可以通用的视频行为序列合规性检测技术。

技术实现思路

[0005]本申请提供一种行为检测方法，所述方法包括：
[0006]获取待检测视频，所述待检测视频包括多个待检测图像；
[0007]从所述多个待检测图像中选取同一目标对象的多个目标待检测图像，基于所述多个目标待检测图像获取所述目标对象的切片序列，所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像；
[0008]根据所述切片序列获取所述目标对象的多个行为特征；
[0009]针对每个行为特征，基于指定类型行为对应的多个类簇中心特征，确定所述行为特征与每个类簇中心特征的相似度；基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征；
[0010]基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为，或所述待检测视频不存在所述指定类型行为。
[0011]示例性的，所述基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为，或所述待检测视频不存在所述指定类型行为，包括：若所述多个行为特征对应的目标类簇中心特征与所述多个类簇中心特征完全相同，且所述多个行为特征对应的目标类簇中心特征的顺序与所述多个类簇中心特征的顺序匹配，则确定所述待检测视频存在所述指定类型行为；
[0012]否则，确定所述待检测视频不存在所述指定类型行为；
[0013]其中，所述多个行为特征对应的目标类簇中心特征的顺序与所述多个行为特征的时间先后顺序匹配；所述指定类型行为包括多个子行为，子行为的数量与类簇中心特征的数量相同，所述多个子行为与所述多个类簇中心特征一一对应，所述多个类簇中心特征的
顺序与所述多个子行为的发生顺序匹配。
[0014]示例性的，所述从所述多个待检测图像中选取同一目标对象的多个目标待检测图像，包括：对所述多个待检测图像中的特定目标进行目标检测，得到特定目标在多个候选待检测图像中的对象位置；候选待检测图像是所述多个待检测图像中存在特定目标的待检测图像，所述特定目标包括至少一个目标对象；
[0015]对所述多个候选待检测图像中的同一个目标对象进行目标跟踪，得到所述目标对象在多个目标待检测图像中的对象位置；目标待检测图像是所述多个候选待检测图像中存在所述目标对象的待检测图像。
[0016]示例性的，所述基于所述多个目标待检测图像获取所述目标对象的切片序列，包括：基于所述目标对象在多个目标待检测图像中的对象位置，确定所述目标对象的目标框位置，所述目标框位置是所有对象位置的最大外接矩形；
[0017]基于所述目标框位置从所述多个目标待检测图像中截取多个子图像；
[0018]按照单位长度对所述多个子图像进行切片，得到至少一个切片序列；
[0019]其中，相邻两个切片序列之间的间隔为固定间隔值。
[0020]示例性的，基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征，包括：基于所述行为特征与每个类簇中心特征的相似度，确定最大相似度；将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征；或者，确定所述最大相似度是否大于相似度阈值，若是，则将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征。
[0021]示例性的，所述指定类型行为对应的多个类簇中心特征的获取方式，包括：
[0022]获取发生所述指定类型行为的多个标定样本图像；
[0023]从所述多个标定样本图像中选取同一样本对象的多个目标样本图像，基于所述多个目标样本图像获取所述样本对象的样本序列，所述样本序列包括基于所述样本对象的样本框位置从所述多个目标样本图像中截取的子图像；
[0024]根据所述样本序列获取所述样本对象的多个样本特征；
[0025]对所述多个样本特征进行聚类，得到多个类簇，每个类簇内包括至少一个样本特征；针对每个类簇，基于所述类簇内的样本特征确定所述类簇的类簇中心特征，以得到所述多个类簇分别对应的类簇中心特征。
[0026]示例性的，针对所述类簇内的每个样本特征，均包括多个特征维度的特征值；所述基于所述类簇内的样本特征确定所述类簇的类簇中心特征，包括：
[0027]针对每个特征维度，基于所述类簇内的所有样本特征中的所述特征维度的特征值，确定所述特征维度的目标特征值；
[0028]基于所述多个特征维度的目标特征值确定所述类簇的类簇中心特征。
[0029]示例性的，所述基于所述类簇内的样本特征确定所述类簇的类簇中心特征之后，还包括：从所述类簇内的所有样本特征中选取与所述类簇中心特征距离最近的样本特征，将选取的样本特征对应的样本序列确定为所述类簇的行为类簇样例；所述基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为，或所述待检测视频不存在所述指定类型行为之后，还包括：若所述待检测视频存在所述指定类型行为，则显示存在所述指定类型行为的切片序列，并显示每个类簇的行为类簇样例；若所述待检
测视频不存在所述指定类型行为，则显示存在所述指定类型行为的切片序列及不存在所述指定类型行为的切片序列，并显示每个类簇的行为类簇样例。
[0030]本申请提供一种行为检测装置，所述装置包括：
[0031]第一获取模块，用于获取待检测视频，所述待检测视频包括多个待检测图像；从所述多个待检测图像中选取同一目标对象的多个目标待检测图像，基于所述多个目标待检测图像获取所述目标对象的切片序列，所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像；
[0032]第二获取模块，用于根据所述切片序列获取所述目标对象的多个行为特征；
[0033]确定模块，用于针对每个行为特征，基于指定类型行为对应的多个类簇中心特征，确定所述行为特征与每个类簇中心特征的相似度；基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征；基于所述多个行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为检测方法，其特征在于，所述方法包括：获取待检测视频，所述待检测视频包括多个待检测图像；从所述多个待检测图像中选取同一目标对象的多个目标待检测图像，基于所述多个目标待检测图像获取所述目标对象的切片序列，所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像；根据所述切片序列获取所述目标对象的多个行为特征；针对每个行为特征，基于指定类型行为对应的多个类簇中心特征，确定所述行为特征与每个类簇中心特征的相似度；基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征；基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为，或所述待检测视频不存在所述指定类型行为。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为，或所述待检测视频不存在所述指定类型行为，包括：若所述多个行为特征对应的目标类簇中心特征与所述多个类簇中心特征完全相同，且所述多个行为特征对应的目标类簇中心特征的顺序与所述多个类簇中心特征的顺序匹配，则确定所述待检测视频存在所述指定类型行为；否则，确定所述待检测视频不存在所述指定类型行为；其中，所述多个行为特征对应的目标类簇中心特征的顺序与所述多个行为特征的时间先后顺序匹配；所述指定类型行为包括多个子行为，子行为的数量与类簇中心特征的数量相同，所述多个子行为与所述多个类簇中心特征一一对应，所述多个类簇中心特征的顺序与所述多个子行为的发生顺序匹配。3.根据权利要求1所述的方法，其特征在于，所述从所述多个待检测图像中选取同一目标对象的多个目标待检测图像，包括：对所述多个待检测图像中的特定目标进行目标检测，得到特定目标在多个候选待检测图像中的对象位置；候选待检测图像是所述多个待检测图像中存在特定目标的待检测图像，所述特定目标包括至少一个目标对象；对所述多个候选待检测图像中的同一个目标对象进行目标跟踪，得到所述目标对象在多个目标待检测图像中的对象位置；目标待检测图像是所述多个候选待检测图像中存在所述目标对象的待检测图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述多个目标待检测图像获取所述目标对象的切片序列，包括：基于所述目标对象在多个目标待检测图像中的对象位置，确定所述目标对象的目标框位置，所述目标框位置是所有对象位置的最大外接矩形；基于所述目标框位置从所述多个目标待检测图像中截取多个子图像；按照单位长度对所述多个子图像进行切片，得到至少一个切片序列；其中，相邻两个切片序列之间的间隔为固定间隔值。5.根据权利要求1所述的方法，其特征在于，基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征，包括：
基于所述行为特征与每个类簇中心特征的相似度，确定最大相似度；将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征；或者，确定所述最大相似度是否大于相似度阈值，若是，则将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征。6.根据权利要求1-5任一项所述的方法，其特征在于，所述指定类型行为对应的多个类簇中心特征的获取方式，包括：获取发生所述指定类型行为的多个标定样本图像；从所述多个标定样本图像中选取同一样本对象的多个目标样本图像，基于所述多个目标...

【专利技术属性】
技术研发人员：赵飞，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：