本公开实施例公开了一种行为检测方法、装置、车辆、存储介质和电子设备，其中，该方法包括：从摄像装置采集的视频帧中，分别获取包括有目标对象的目标部位的目标图像帧和第一图像帧序列；基于目标图像帧，确定目标对象的第一行为以及第一行为的第一置信度；分别对第一图像帧序列中的各图像帧进行骨架检测得到第一图像帧序列中的各图像帧的骨架信息，并基于第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到目标对象的第二行为以及第二行为的第二置信度；基于第一行为和第一行为第一置信度，以及第二行为和第二行为第二置信度，确定目标对象的行为检测结果。本公开实施例可以大幅减低行为检测的误判几率。以大幅减低行为检测的误判几率。以大幅减低行为检测的误判几率。
【技术实现步骤摘要】
一种行为检测方法、装置、车辆、存储介质和电子设备
[0001]本公开涉及行为检测
，尤其是一种行为检测方法、装置、车辆、存储介质和电子设备。
技术介绍
[0002]在车辆领域中，由于车辆的驾驶员以及乘客等人员的某些行为，会对车辆的行驶安全产生影响。因此，通过对车内人员进行行为检测，在检测出车内人员的危险行为时，及时采取相应措施，降低危险行为对车辆安全造成的影响，是非常必要的。
[0003]如何准确检测车内人员的行为，是一个亟待解决的问题。
技术实现思路
[0004]本公开的专利技术人经过大量创造性的劳动发现，从车内摄像装置采集的视频帧中获取单帧图像，通过对获取的单帧图像提取感兴趣区域后进行行为识别的方式，有时会出现行为误判，例如将车内人员的手部接触嘴部的行为，或将车内人员咬牙签的行为，误判为车内人员进行了抽烟行为(如图1所示)。
[0005]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种行为检测方法、装置、车辆、存储介质和电子设备。
[0006]根据本公开实施例的第一方面，提供了一种行为检测方法，包括：
[0007]从摄像装置采集的视频帧中，分别获取包括有目标对象的目标部位的目标图像帧和第一图像帧序列；
[0008]基于所述目标图像帧，确定所述目标对象的第一行为以及所述第一行为的第一置信度；
[0009]分别对所述第一图像帧序列中的各图像帧进行骨架检测得到所述第一图像帧序列中的各图像帧的骨架信息，并基于所述第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到所述目标对象的第二行为以及所述第二行为的第二置信度；
[0010]基于所述第一行为和所述第一行为第一置信度，以及所述第二行为和所述第二行为第二置信度，确定所述目标对象的行为检测结果。
[0011]根据本公开实施例的第二方面，提供了一种行为检测装置，包括：
[0012]获取模块，用于从摄像装置采集的视频帧中，分别获取包括有目标对象的目标部位的目标图像帧和第一图像帧序列；
[0013]第一置信度确定模块，用于基于所述目标图像帧，确定所述目标对象的第一行为以及所述第一行为的第一置信度；
[0014]第二置信度确定模块，用于分别对所述第一图像帧序列中的各图像帧进行骨架检测得到所述第一图像帧序列中的各图像帧的骨架信息，并基于所述第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到所述目标对象的第二行为以及所述第二行为的第二置信度；
[0015]检测结果确定模块，用于基于所述第一行为和所述第一行为第一置信度，以及所述第二行为和所述第二行为第二置信度，确定所述目标对象的行为检测结果。
[0016]根据本公开实施例的第三方面，提供了一种车辆，包括上述第二方面所述的行为检测装置。
[0017]根据本公开实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的行为检测方法。
[0018]根据本公开实施例的第五方面，提供了一种电子设备，所述电子设备包括：
[0019]处理器；
[0020]用于存储所述处理器可执行指令的存储器；
[0021]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面所述的行为检测方法。
[0022]基于本公开上述实施例提供的一种行为检测方法、装置、车辆、存储介质和电子设备，从摄像装置采集的视频帧中，分别获取包括有目标对象的目标部位的目标图像帧和第一图像帧序列；基于目标图像帧，可以确定目标对象的第一行为以及第一行为的第一置信度；分别对第一图像帧序列中的各图像帧进行骨架检测得到第一图像帧序列中的各图像帧的骨架信息，并基于第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到目标对象的第二行为以及所述第二行为的第二置信度；基于第一行为以及第一行为第一置信度和第二行为以及第二行为第二置信度进行综合判断，最终确定目标对象的行为检测结果，可以大幅减低行为检测的误判几率。
[0023]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0024]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0025]图1是本公开一个示例中对摄像装置采集的单帧图像确定感兴趣区域的示意图；
[0026]图2是本公开一个实施例中行为检测方法的流程示意图；
[0027]图3是本公开一个实施例中步骤S2的流程示意图；
[0028]图4是本公开一个实施例中步骤S2
‑
3的流程示意图；
[0029]图5为本公开一个示例中步骤S3的流程示意图；
[0030]图6是本公开一个实施例中步骤S4的流程示意图；
[0031]图7是本公开一个实施例中行为检测装置的结构框图；
[0032]图8是本公开一个实施例中第一确定模块200的结构框图；
[0033]图9是本公开一个实施例中第二确定模块300的结构框图；
[0034]图10是本公开一个实施例中检测结果确定模块400的结构框图；
[0035]图11是本公开一个实施例中电子设备的结构框图。
具体实施方式
[0036]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0037]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0038]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0039]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0040]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0041]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0042]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0043]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种行为检测方法，包括：从摄像装置采集的视频帧中，分别获取包括有目标对象的目标部位的目标图像帧和第一图像帧序列；基于所述目标图像帧，确定所述目标对象的第一行为以及所述第一行为的第一置信度；分别对所述第一图像帧序列中的各图像帧进行骨架检测得到所述第一图像帧序列中的各图像帧的骨架信息，并基于所述第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到所述目标对象的第二行为以及所述第二行为的第二置信度；基于所述第一行为和所述第一行为第一置信度，以及所述第二行为和所述第二行为第二置信度，确定所述目标对象的行为检测结果。2.根据权利要求1所述的行为检测方法，其中，所述基于所述目标图像帧，确定所述目标对象的第一行为以及所述第一行为的第一置信度，包括：获取位于所述目标图像帧的采集时间之前、且包括有所述目标对象的目标部位的第二图像帧序列，其中，所述第二图像帧序列的采集时间点与所述目标图像帧的采集时间点在预设时间间隔范围内，所述第一图像帧序列中的各图像帧的采集时间均位于所述目标图像帧的采集时间之前，且所述第二图像帧序列的图像采集时间段长度小于所述第一图像帧序列的图像采集时间段长度；对所述第二图像帧序列中各图像帧提取所述目标对象的目标部位的图像块，得到图像块序列；基于所述图像块序列进行行为识别，确定所述第一行为以及所述第一行为的第一置信度。3.根据权利要求2所述的行为检测方法，其中，所述基于所述图像块序列进行行为识别，确定所述第一行为以及所述第一行为的第一置信度，包括：对所述图像块序列中的各图像块进行骨架检测，得到所述图像块序列中的各图像块的骨架信息；基于所述图像块序列中的各图像块的骨架信息进行行为识别，得到所述图像块序列中的各图像块在多个预设行为分类上的置信度；基于所述图像块序列中的各图像块在多个预设行为分类上的置信度，确定所述图像块序列中的各图像块的行为分类；统计所述图像块序列中的各图像块的行为分类的数量，将行为分类数量最多的行为作为所述第一行为；将所述图像块序列中的各图像块在所述第一行为上的置信度进行均值处理，得到所述第一行为的第一置信度。4.根据权利要求1
‑
3任一项所述的行为检测方法，其中，所述基于所述第一图像帧序列中的各图像帧的骨架信息进行行为识别，得到所述目标对象的第二行为以及所述第二行为的第二置信度，包括：从所述第一图像帧序列中的各图像帧的骨架信息中，去除所述第一图像帧序列中的各图像帧中的预设部位的骨架信息，得到所述第一图像帧序列中的各图像帧的剩...
【专利技术属性】
技术研发人员：杨聪，孔祥斌，
申请(专利权)人：南京人工智能高等研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。