【技术实现步骤摘要】
本申请涉及行为识别，尤其涉及行为识别方法及装置。
技术介绍
1、现有的行为识别技术主要依赖单一数据源（如视频图像），在复杂环境中，自然光或人工光源的变化可能导致图像质量下降，影响目标识别的效果，目标可能被其他物体部分或完全遮挡，导致识别算法无法正确识别或跟踪目标，同时背景中可能存在大量与目标无关的信息，也会使识别准确率和抗干扰能力受到限制。此外，现有技术难以有效捕捉细微动作特征，并且对于不同场景的适应性较差，导致实际应用中存在诸多局限。
2、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种行为识别方法及装置，旨在解决现有技术中无法在复杂环境中对目标进行准确的行为识别的技术问题。
2、为实现上述目的，本申请提供了一种行为识别方法，方法包括：
3、同步采集传感器采集到的视频图像信号和雷达信号；
4、对所述视频图像信号进行边缘检测，得到轮廓特征，对所述轮廓特征进行特征识别，确定行为识别对象；
5、根据所述视频图像信号确定画幅空间，确定所述行为识别对象在所述画幅空间的目标位置，基于所述目标位置与所述雷达信号确定目标雷达信号；
6、基于时序将所述视频图像信号与所述目标雷达信号输入时空卷积网络，得到所述行为识别对象的动作特征序列；
7、对所述动作特征序列进行识别，得到所述行为识别对象的行为特征。
8、在一实施例中，所述同步采
9、在接收到行为识别指令时，对所述行为识别指令进行识别，确定关注区域；
10、同步所述关注区域各个传感器的记录时间，使各个所述传感器在同一时间进行信号采集，得到视频图像信号和雷达信号。
11、在一实施例中，所述对所述视频图像信号进行边缘检测，得到轮廓特征，对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
12、对所述视频图像信号进行编码，得到视频图像；
13、对所述视频图像进行归一化和灰度处理，得到预处理视频图像；
14、计算所述预处理视频图像的梯度值，以所述梯度值确定边缘线；
15、确定所述边缘线两侧的图像灰度均值，基于所述图像灰度均值确定边缘分区；
16、将所述边缘分区根据区域相似度进行聚合，得到待识别区域；
17、确定所述待识别区域轮廓，得到轮廓特征，并对所述轮廓特征进行特征识别，确定行为识别对象。
18、在一实施例中，所述将所述边缘分区根据区域相似度进行聚合，得到待识别区域的步骤包括：
19、确定各个所述边缘分区的像素中心点；
20、确定基准边缘分区，以所述边缘分区确定邻接边缘分区，并将所述邻接边缘分区的像素中心点与所述基准边缘分区的像素中心点的像素差作为第一聚合参数；
21、将所述基准边缘分区的灰度均值与所述邻接边缘分区的灰度均值之间的灰度均值差作为第二聚合参数；
22、根据所述第一聚合参数与所述第二聚合参数得到区域相似度；
23、将所述区域相似度大于预设聚合阈值的邻接边缘分区与所述基准边缘分区进行聚合，得到待识别区域。
24、在一实施例中，所述确定所述待识别区域轮廓，得到轮廓特征，并对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
25、以所述边缘线确定待识别区域轮廓，提取所述待识别区域轮廓的轮廓形状，得到轮廓特征；
26、确定所述轮廓特征的关键点，对所述关键点进行特征匹配，确定所述轮廓特征标签；
27、在所述轮廓特征标签为预设轮廓标签时，将所述轮廓特征标签对应的闭合区域确定为行为识别对象。
28、在一实施例中，所述根据所述视频图像信号确定画幅空间，确定所述行为识别对象在所述画幅空间的目标位置，基于所述目标位置与所述雷达信号确定所述目标雷达信号的步骤包括：
29、根据所述视频图像信号的分辨率确定画幅空间；
30、以所述画幅空间建立画幅坐标系，确定所述行为识别对象在所述画幅空间中的重合区域；
31、在所述重合区域中以所述行为识别对象的边缘轮廓确定像素坐标区间，以所述像素坐标区间作为所述行为识别对象在所述画幅空间的目标位置；
32、提取所述雷达信号中所述目标位置的目标雷达信号。
33、在一实施例中，所述基于时序将所述视频图像信号与所述目标雷达信号输入时空卷积网络，得到所述行为识别对象的动作特征序列的步骤包括：
34、基于时序将所述视频图像信号与所述目标雷达信号生成信号帧序列；
35、将所述信号帧序列输入至时空卷积网络，确定所述行为识别对象的动作向量；
36、基于时序将所述动作向量排列，得到所述行为识别对象的动作特征。
37、在一实施例中，所述将所述信号帧序列输入至时空卷积网络，确定所述行为识别对象的动作向量的步骤包括：
38、将所述信号帧序列输入至时空卷积网络，将所述信号帧序列进行分离，得到视频图像帧序列和雷达信号帧序列；
39、基于卷积子确定所述视频图像帧序列中所述行为识别对象的记录点，并将所述记录点映射至所述雷达信号帧序列，确定所述记录点的位移信息，基于所述位移信息得到所述记录点的位置变化信息；
40、对各个所述记录点的位置变化信息进行聚合，得到所述行为识别对象的动作向量。
41、在一实施例中，所述对所述动作特征序列进行识别，得到所述行为识别对象的行为特征的步骤包括：
42、将所述动作特征序列基于所述行为识别对象的关键部位进行拆分，得到局部动作特征；
43、分别将所述局部动作特征与动作特征库进行匹配，确定局部动作行为拟合度和对应的识别行为特征；
44、将最大所述局部动作行为拟合度对应的识别行为特征确定为所述行为识别对象的行为特征。
45、此外，为实现上述目的，本申请还提出一种行为识别装置，行为识别装置包括：
46、信号采集模块，用于同步采集传感器采集到的视频图像信号和雷达信号；
47、对象识别模块，用于对所述视频图像信号进行边缘检测，得到轮廓特征，对所述轮廓特征进行特征识别，确定行为识别对象；
48、信号处理模块，用于根据所述视频图像信号确定画幅空间，确定所述行为识别对象在所述画幅空间的目标位置，基于所述目标位置与所述雷达信号确定所述目标雷达信号；
49、时空卷积模块，用于基于时序将所述视频图像信号与所述目标雷达信号输入时空卷积网络，得到所述行为识别对象的动作特征序列；
50、行为识别模块，用于对所述动作特征序列进行识别，得到所述行为识别对象的行为特征。
51、此外，为实现上述目的，本申请还提出一种行为识别设备，所述行为识别设备包括：存储器、处理器及存本文档来自技高网...
【技术保护点】
1.一种行为识别方法，其特征在于，所述行为识别方法包括：
2.如权利要求1所述的方法，其特征在于，所述同步采集传感器采集到的视频图像信号和雷达信号的步骤包括：
3.如权利要求1所述的方法，其特征在于，所述对所述视频图像信号进行边缘检测，得到轮廓特征，对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
4.如权利要求3所述的方法，其特征在于，所述将所述边缘分区根据区域相似度进行聚合，得到待识别区域的步骤包括：
5.如权利要求3所述的方法，其特征在于，所述确定所述待识别区域轮廓，得到轮廓特征，并对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
6.如权利要求1所述的方法，其特征在于，所述根据所述视频图像信号确定画幅空间，确定所述行为识别对象在所述画幅空间的目标位置，基于所述目标位置与所述雷达信号确定所述目标雷达信号的步骤包括：
7.如权利要求1所述的方法，其特征在于，所述基于时序将所述视频图像信号与所述目标雷达信号输入时空卷积网络，得到所述行为识别对象的动作特征序列的步骤包括：
8.如权
9.如权利要求1所述的方法，其特征在于，所述对所述动作特征序列进行识别，得到所述行为识别对象的行为特征的步骤包括：
10.一种行为识别装置，其特征在于，所述行为识别装置包括：
...【技术特征摘要】
1.一种行为识别方法，其特征在于，所述行为识别方法包括：
2.如权利要求1所述的方法，其特征在于，所述同步采集传感器采集到的视频图像信号和雷达信号的步骤包括：
3.如权利要求1所述的方法，其特征在于，所述对所述视频图像信号进行边缘检测，得到轮廓特征，对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
4.如权利要求3所述的方法，其特征在于，所述将所述边缘分区根据区域相似度进行聚合，得到待识别区域的步骤包括：
5.如权利要求3所述的方法，其特征在于，所述确定所述待识别区域轮廓，得到轮廓特征，并对所述轮廓特征进行特征识别，确定行为识别对象的步骤包括：
6.如权利要求1所述的方法，其特征...
【专利技术属性】
技术研发人员：袁守浩，王雁冰，魏彬，吕晓峰，冯磊，史文渊，郑旭辉，杨优生，尹明，
申请(专利权)人：中广核北京新能源科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。