关键点的抖动处理方法、装置、介质及电子设备制造方法及图纸

本公开是关于一种关键点的抖动处理方法、装置、介质及电子设备，属于计算机视觉技术领域，该方法包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。本公开通过多帧联合进行关键点抖动的检测，并进行平滑处理，有效提高了关键点抖动平滑处理的准确性。

【技术实现步骤摘要】
关键点的抖动处理方法、装置、介质及电子设备
本公开涉及计算机视觉
，具体而言，涉及一种关键点的抖动处理方法、装置、介质及电子设备。
技术介绍
关键点就是视频中每一帧上例如人脸上的嘴角、眼角等特征点。关键点的抖动就是在视频帧上识别关键点，得到的关键点相对于关键点在视频帧上真实位置存在误差，进而使得识别到的关键点跟随视频帧流具有抖动现象，不平滑过渡。目前关键点的抖动检测及处理都是基于单帧图像进行，每帧处理后的结果都是独立互不影响，在实践中这种抖动给后期数据处理带来了噪声。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种关键点的抖动处理方案，进而至少在一定程度上通过多帧联合监测关键点的抖动并进行平滑处理，有效提高关键点抖动处理的准确性。根据本公开的一个方面，提供一种关键点的抖动处理方法，包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。在本公开的一种示例性实施例中，所述根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量，包括：根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量。根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量。在本公开的一种示例性实施例中，所述根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值，包括：根据所述目标格式视频的格式，获取与所述目标格式的视频的格式对应的预先训练好的机器学习模型；将所述同一关键点的坐标的作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值。在本公开的一种示例性实施例中，所述同一关键点的偏移量抖动阈值，包括：第一偏移量抖动阈值，所述第一偏移量抖动阈值为所述同一关键点中来源于相邻两个帧的同一关键点的偏移量抖动阈值；第二偏移量抖动阈值，所述第二偏移量抖动阈值为所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的偏移量抖动阈值。在本公开的一种示例性实施例中，所述机器学习模型的训练方法是：收集预定格式视频的存在关键点抖动的预定数目个连续帧中，每个帧上同一关键点的坐标的样本集，所述样本集中每个样本事先由专家标定关键点抖动阈值；将所述样本集中，每个样本的作为输入数据输入机器学习模型，得到每个样本的关键点抖动阈值；若存在有样本在输入所述机器学习模型后，得到的关键点抖动阈值与事先标定的关键点抖动阈值不一致，则调整机器学习模型的系数，直到一致；当所有样本在输入所述机器学习模型后，得到的关键点抖动阈值与事先标定的关键点抖动阈值一致，训练结束。在本公开的一种示例性实施例中，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：从所述偏移量中获取多个第一偏移量；从所述偏移量抖动阈值中获取第一偏移量抖动阈值；当所述多个第一偏移量都低于所述第一偏移量抖动阈值，确定所述同一关键点发生抖动；当所述多个第一偏移量中预定数目个第一偏移量大于所述第一偏移量抖动阈值，确定所述同一关键点未发生抖动。在本公开的一种示例性实施例中，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：从所述偏移量中获取第二偏移量；从所述偏移量抖动阈值中获取第二偏移量抖动阈值；当所述第二偏移量低于所述第二偏移量抖动阈值，确定所述同一关键点发生抖动；当所述第二偏移量大于所述第二偏移量抖动阈值，确定所述同一关键点未发生抖动。在本公开的一种示例性实施例中，所述当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，包括：根据公式xi+n+1＝xi+n+σ1yi+n+1＝yi+n+σ2对所述同一关键点进行平滑处理，其中，n为所述同一关键点来源的预定数目个连续帧的数目，xi为所述同一关键点中在所述预定数目个连续帧中第i帧的关键点的横坐标，xi+1为所述同一关键点中在所述预定数目个连续帧中第i+1帧的关键点的横坐标，...，xi+n+1为所述同一关键点中在所述预定数目个连续帧中第i+n+1帧的关键点的横坐标，σ1为关键点横坐标平滑点值，xi+n+1为关键点横坐标平滑值，yi为所述同一关键点中在所述预定数目个连续帧中第i帧的关键点的纵坐标，yi+1为所述同一关键点中在所述预定数目个连续帧中第i+1帧的关键点的纵坐标，...，yi+n+1为所述同一关键点中在所述预定数目个连续帧中第i+n+1帧的关键点的纵坐标，σ2为关键点纵坐标平滑点值，yi+n+1为关键点纵坐标平滑值。根据本公开的一个方面，提供一种关键点的抖动处理装置，其特征在于，包括：帧获取模块，用于从目标格式视频中，获取预定数目个连续帧；坐标获取模块，用于获取所述预定数目个连续帧中每个帧上同一关键点的坐标；偏移量获取模块，用于根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；阈值获取模块，用于根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；确定模块，用于根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；平滑模块，用于当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有关键点的抖动处理程序，其特征在于，所述关键点的抖动处理程序被处理器执行时实现上述任一项所述的方法。根据本公开的一个方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的关键点的抖动处理程序；其中，所述处理器配置为经由执行所述关键点的抖动处理程序来执行上述任一项所述的方法本公开一种关键点的抖动处理方法及装置，首先，从目标格式视频中，获取预定数目个连续帧；这样就可以基于连续帧进行同一关键点在连续的帧上的变化情况。然后，获取预定数目个连续帧中每个帧上同一关键点的坐标；这样可以基于同一关键点的坐标准确检测关键点的变化。然后，根据每个帧上所述同一关键点的坐标，获取同一关键点的偏移量；基于关键点的坐标可以准确地获取到反映关键点变化的偏移量数据，进而在根据目标格式视频的格式，获取与目标格式的视频对应的同一关键点的偏移量抖动阈值后，根据偏移量与偏移量抖动阈值进行对比，可以准确地确定同一关键点是否发生抖动。最后，当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，这样基于多帧连续检测关键点的抖动，可以有效提高关键点抖动处理的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本文档来自技高网...

【技术保护点】
1.一种关键点的抖动处理方法，其特征在于，包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

【技术特征摘要】
1.一种关键点的抖动处理方法，其特征在于，包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量，包括：根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量。根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值，包括：根据所述目标格式视频的格式，获取与所述目标格式的视频的格式对应的预先训练好的机器学习模型；将所述同一关键点的坐标的作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值。4.根据权利要求3所述的方法，其特征在于，所述同一关键点的偏移量抖动阈值，包括：第一偏移量抖动阈值，所述第一偏移量抖动阈值为所述同一关键点中来源于相邻两个帧的同一关键点的偏移量抖动阈值；第二偏移量抖动阈值，所述第二偏移量抖动阈值为所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的偏移量抖动阈值。5.根据权利要求1所述的方法，其特征在于，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：从所述偏移量中获取多个第一偏移量；从所述偏移量抖动阈值中获取第一偏移量抖动阈值；当所述多个第一偏移量都低于所述第一偏移量抖动阈值，确定所述同一关键点发生抖动；当所述多个第一偏移量中预定数目个第一偏移量大于所述第一偏移量抖动阈值，确定所述同一关键点未发生抖动。6.根据权利要求1所述的方法，其特征在于，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：从所述偏移量中获取第二偏移量；从所述偏移量抖动阈...

【专利技术属性】
技术研发人员：车宏伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44