关键点检测方法及装置、计算机可读介质和电子设备制造方法及图纸

本公开提供一种关键点检测方法及装置、计算机可读介质和电子设备，涉及人工智能技术领域。该方法包括：获取当前图像帧，并确定当前图像帧对应的关键图像信息；确定当前图像帧对应的前序图像帧，并获取前序图像帧对应的历史关键点信息；将当前图像帧、关键图像信息以及历史关键点信息输入到预训练的连续帧关键点检测模型中，输出当前图像帧对应的当前关键点信息。本公开能够更好的利用视频图像帧在空间和时间维度上信息进行更稳定的人脸关键点检测，有效提升视频中人脸关键点检测结果的准确性以及鲁棒性。以及鲁棒性。以及鲁棒性。

【技术实现步骤摘要】
关键点检测方法及装置、计算机可读介质和电子设备


[0001]本公开涉及人工智能
，具体涉及一种关键点检测方法、关键点检测装置、计算机可读介质和电子设备。

技术介绍

[0002]随着科学技术的飞速发展，人脸识别以及人脸跟踪等技术越来越得到人们的关注。在视频图像中对人脸目标进行跟踪，主要依赖在视频图像中确定的人脸关键点的位置。
[0003]目前，相关的人脸关键点检测方案中，要么无法实时准确检测视频中的人脸关键点，检测结果的鲁棒性较差，要么需要对检测到的人脸关键点进行后处理，无法保证实时性，工作量大且输出效率较低。

技术实现思路

[0004]本公开的目的在于提供一种关键点检测方法、关键点检测装置、计算机可读介质和电子设备，进而至少在一定程度上提高视频中人脸关键点的检测效率，提升输出的人脸关键点的准确性以及鲁棒性。
[0005]根据本公开的第一方面，提供一种关键点检测方法，包括：
[0006]获取当前图像帧，并确定所述当前图像帧对应的关键图像信息；
[0007]确定所述当前图像帧对应的前序图像帧，并获取所述前序图像帧对应的历史关键点信息；
[0008]将所述当前图像帧、所述关键图像信息、所述前序图像帧以及所述历史关键点信息输入到预训练的连续帧关键点检测模型中，输出所述当前图像帧对应的当前关键点信息。
[0009]根据本公开的第二方面，提供一种关键点检测装置，包括：
[0010]关键图像信息确定模块，用于获取当前图像帧，并确定所述当前图像帧对应的关键图像信息；
[0011]历史关键点信息获取模块，用于确定所述当前图像帧对应的前序图像帧，并获取所述前序图像帧对应的历史关键点信息；
[0012]当前关键点信息输出模块，用于将所述当前图像帧、所述关键图像信息、所述前序图像帧以及所述历史关键点信息输入到预训练的连续帧关键点检测模型中，输出所述当前图像帧对应的当前关键点信息。
[0013]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
[0014]根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
[0015]处理器；以及
[0016]存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
[0017]本公开的一种实施例所提供的关键点检测方法，可以确定当前图像帧对应的关键图像信息，然后确定当前图像帧对应的前序图像帧，并获取前序图像帧对应的历史关键点信息，最后将当前图像帧、关键图像信息、前序图像帧以及历史关键点信息输入到预训练的连续帧关键点检测模型中，输出当前图像帧对应的当前关键点信息。一方面，对于模型的输入，在空间维度上包含了当前图像帧以及关键图像信息，能够有效提升人脸关键点的检测准确性，提高视频中人脸识别与人脸跟踪的效果；另一方面，对于模型的输入，在时间维度上包含了前序图像帧的历史关键点信息，能够有效提升检测结果的鲁棒性，实现对视频更稳定的关键点预测。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0020]图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
[0021]图2示意性示出本公开示例性实施例中一种关键点检测方法的流程示意图；
[0022]图3示意性示出本公开示例性实施例中一种确定关键图像块的流程示意图；
[0023]图4示意性示出本公开示例性实施例中一种对当前图像帧进行分块处理的流程示意图；
[0024]图5示意性示出本公开示例性实施例中一种确定连续图像帧序列的流程示意图；
[0025]图6示意性示出本公开示例性实施例中一种实现当前图像帧中关键点检测的原理示意图；
[0026]图7示意性示出本公开示例性实施例中一种对当前图像帧进行关键点检测的流程示意图；
[0027]图8示意性示出本公开示例性实施例中关键点检测装置的组成示意图；
[0028]图9示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
[0029]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0030]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0031]图1示出了可以应用本公开实施例的一种关键点检测方法及装置的示例性应用环境的系统架构的示意图。
[0032]如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
[0033]本公开实施例所提供的关键点检测方法一般由终端设备101、102、103中执行，相应地，关键点检测装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的关键点检测方法也可以由服务器105执行，相应的，关键点检测装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。
[0034]举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将拍摄的视频数据上传至服务器105，服务器通过本公开实施例所提供的关键点检测方法生成关键点信息后，将关键点信息传输给终端设备101、102、103等。
[0035]在一种技术方案中，提出从当前视频图像帧中定位出人脸关键点，判断当前视频图像帧中的人脸相对于上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：获取当前图像帧，并确定所述当前图像帧对应的关键图像信息；确定所述当前图像帧对应的前序图像帧，并获取所述前序图像帧对应的历史关键点信息；将所述当前图像帧、所述关键图像信息、所述前序图像帧以及所述历史关键点信息输入到预训练的连续帧关键点检测模型中，输出所述当前图像帧对应的当前关键点信息。2.根据权利要求1所述的方法，其特征在于，所述关键图像信息包括关键图像块，所述确定所述当前图像帧对应的关键图像信息，包括：通过特征点检测模型对所述当前图像帧进行检测，确定目标特征点；基于所述目标特征点对所述当前图像帧进行分块处理，得到所述当前图像帧对应的关键图像块。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标特征点对所述当前图像帧进行分块处理，包括：获取预设的包围框参数；根据所述目标特征点对应的坐标以及所述包围框参数构建人脸包围框，以通过所述人脸包围框对所述当前图像帧进行分块处理。4.根据权利要求2所述的方法，其特征在于，所述关键图像信息包括预估关键点，所述方法还包括：通过所述目标特征点确定所述当前图像帧对应的预估关键点。5.根据权利要求1至4任意一项所述的方法，其特征在于，在确定所述当前图像帧对应的关键图像信息之前，所述方法还包括：对所述当前图像帧进...

【专利技术属性】
技术研发人员：沈伟，郭彦东，何苗，陶训强，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：