关键点的检测方法和装置制造方法及图纸

本公开提供了关键点的检测方法和装置，涉及图像处理和深度学习的人工智能技术领域。具体实施方式包括：获取包含目标的待测图像和训练后的关键点检测模型，将待测图像输入关键点检测模型，得到包含目标的关键点的热力图；对各个热力图进行合并，将合并结果作为多点热力图；将多点热力图和待测图像，输入训练后的关键点修正模型，得到包含目标的关键点的热力图，将该热力图作为修正后热力图；确定修正后热力图指示的关键点坐标。本公开可以利用关键点检测模型的输出，确定关键点修正模型的输入，从而对关键点检测模型预测的关键点进行修正，提高确定关键点的准确度。提高确定关键点的准确度。提高确定关键点的准确度。

【技术实现步骤摘要】
关键点的检测方法和装置


[0001]本公开涉及计算机
，具体涉及包括图像处理和深度学习的人工智能
，尤其涉及关键点的检测方法和装置。

技术介绍

[0002]关键点(landmark)检测，也被称为关键点定位或关键点对齐，其任务是指，在给定一张待检测的图像数据以后，定位出该图像数据中的关键特征点也即关键点。例如在人脸关键点检测中，关键特征点可以是眼睛、眉毛等部位的特征点。
[0003]在相关技术中，关键点的检测往往通过模型来进行，比如，模型可以是深度神经网络。

技术实现思路

[0004]提供了一种关键点的检测方法、装置、电子设备以及存储介质。
[0005]根据第一方面，提供了一种关键点的检测方法，包括：获取包含目标的待测图像和训练后的关键点检测模型，将待测图像输入关键点检测模型，得到包含目标的关键点的热力图；对各个热力图进行合并，将合并结果作为多点热力图；将多点热力图和待测图像，输入训练后的关键点修正模型，得到包含目标的关键点的热力图，将该热力图作为修正后热力图；确定修正后热力图指示的关键点坐标。
[0006]根据第二方面，提供了一种关键点修正模型的训练方法，方法包括：获取包含目标的待测图像和训练后的关键点检测模型，将待测图像输入关键点检测模型，得到包含目标的关键点的热力图；对各个热力图进行合并，将合并结果作为多点热力图；将多点热力图和待测图像，输入待训练的关键点修正模型，得到包含目标的关键点的热力图，将该热力图作为修正后热力图；确定修正后热力图指示的关键点坐标；基于关键点坐标确定关键点修正模型的损失值，通过损失值训练关键点修正模型，得到训练后的关键点修正模型。
[0007]根据第三方面，提供了一种关键点的检测装置，包括：获取单元，被配置成获取包含目标的待测图像和训练后的关键点检测模型，将待测图像输入关键点检测模型，得到包含目标的关键点的热力图；合并单元，被配置成对各个热力图进行合并，将合并结果作为多点热力图；修正单元，被配置成将多点热力图和待测图像，输入训练后的关键点修正模型，得到包含目标的关键点的热力图，将该热力图作为修正后热力图；确定单元，被配置成确定修正后热力图指示的关键点坐标。
[0008]根据第四方面，提供了一种关键点修正模型的训练装置，装置包括：检测单元，被配置成获取包含目标的待测图像和训练后的关键点检测模型，将待测图像输入关键点检测模型，得到包含目标的关键点的热力图；热力图单元，被配置成对各个热力图进行合并，将合并结果作为多点热力图；修正后单元，被配置成将多点热力图和待测图像，输入待训练的关键点修正模型，得到包含目标的关键点的热力图，将该热力图作为修正后热力图；坐标确定单元，被配置成确定修正后热力图指示的关键点坐标；训练单元，被配置成基于关键点坐
标确定关键点修正模型的损失值，通过损失值训练关键点修正模型，得到训练后的关键点修正模型。
[0009]根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行关键点的检测方法中任一实施例的方法。
[0010]根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据关键点的检测方法中任一实施例的方法。
[0011]根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据关键点的检测方法中任一实施例的方法。
[0012]根据本公开的方案，可以利用关键点检测模型的输出，确定关键点修正模型的输入，从而对关键点检测模型预测的关键点进行修正，提高确定关键点的准确度。
附图说明
[0013]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0014]图1是本公开一些实施例可以应用于其中的示例性系统架构图；
[0015]图2是根据本公开的关键点的检测方法的一个实施例的流程图；
[0016]图3是根据本公开的关键点的检测方法的一个应用场景的示意图；
[0017]图4a是根据本公开的关键点修正模型的训练方法的又一个实施例的流程图；
[0018]图4b是根据本公开的关键点修正模型的训练方法的又一个实施例的流程图；
[0019]图5a是根据本公开的关键点的检测装置的一个实施例的结构示意图；
[0020]图5b是根据本公开的关键点修正模型的训练装置的一个实施例的结构示意图；
[0021]图6是用来实现本公开的任一实施例的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0024]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0025]图1示出了可以应用本公开的关键点的检测方法或关键点的检测装置的实施例的示例性系统架构100。
[0026]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0027]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发
送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
[0028]这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0029]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的待测图像等数据进行分析等处理，并将处理结果(例如待测图像中目标的关键点坐标)反馈给终端设备。
[0030]需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点的检测方法，所述方法包括：获取包含目标的待测图像和训练后的关键点检测模型，将所述待测图像输入所述关键点检测模型，得到包含所述目标的关键点的热力图；对各个所述热力图进行合并，将合并结果作为多点热力图；将所述多点热力图和所述待测图像，输入训练后的关键点修正模型，得到包含所述目标的关键点的热力图，将该热力图作为修正后热力图；确定所述修正后热力图指示的关键点坐标。2.根据权利要求1所述的方法，其中，所述关键点检测模型和所述关键点修正模型两者的参数数量小于预设数值。3.根据权利要求1或2所述的方法，其中，所述将所述多点热力图和所述待测图像，输入训练后的关键点修正模型，包括：对所述多点热力图和所述待测图像进行拼接，得到拼接结果；将所述拼接结果输入训练后的关键点修正模型。4.根据权利要求1或2所述的方法，其中，所述关键点检测模型输出的热力图指示所述目标的一个关键点；所述对各个所述热力图进行合并，将合并结果作为多点热力图，包括：将所述关键点检测模型输出的各个所述热力图进行合并，得到包含该各个所述热力图中关键点的多点热力图，其中，所述多点热力图中关键点的数量等于所述关键点检测模型输出的热力图的数量。5.一种关键点修正模型的训练方法，所述方法包括：获取包含目标的待测图像和训练后的关键点检测模型，将所述待测图像输入所述关键点检测模型，得到包含所述目标的关键点的热力图；对各个所述热力图进行合并，将合并结果作为多点热力图；将所述多点热力图和所述待测图像，输入待训练的关键点修正模型，得到包含所述目标的关键点的热力图，将该热力图作为修正后热力图；确定所述修正后热力图指示的关键点坐标；基于所述关键点坐标确定所述关键点修正模型的损失值，通过所述损失值训练所述关键点修正模型，得到训练后的关键点修正模型。6.根据权利要求5所述的方法，其中，所述关键点检测模型和所述关键点修正模型两者的参数数量小于预设数值。7.根据权利要求5或6所述的方法，其中，所述将所述多点热力图和所述待测图像，输入训练后的关键点修正模型，包括：对所述多点热力图和所述待测图像进行拼接，得到拼接结果；将所述拼接结果输入训练后的关键点修正模型。8.根据权利要求5或6所述的方法，其中，所述关键点检测模型输出的热力图指示所述目标的一个关键点；所述对各个所述热力图进行合并，将合并结果作为多点热力图，包括：将所述关键点检测模型输出的各个所述热力图进行合并，得到包含该各个所述热力图中关键点的多点热力图，其中，所述多点热力图中关键点的数量等于所述关键点检测模型
输出的热力图的数量。9.一种关键点的检测装置，所述装置包括：获取单元，被配置成获取包含目标的待测图像和训练后的关键点检测模型，将所述待测图像输入所述关键点检测模型，得到包含所述目标的关键点的热力图；合并单元，被配置成对各个所述热力图进行合并，将合并结果作为多点热力图；修正单元，被配置成将所述多点热力图和所述待测图像，输入训练后的关键点修正模型，得到包含所述目标的关键点的热力图，将该热力图作为修正后热力图；确定单元，被配置成确定所述修正后热力图指示的关键点坐标。10.根据权利要求9所述的...

【专利技术属性】
技术研发人员：孟庆月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：