关键点检测方法以及关键点检测装置制造方法及图纸

本申请公开了关键点检测方法和关键点检测装置。其中关键点检测方法包括：对输入的图像序列进行初始处理以得到初始多帧模型热力图，将其作为迭代多帧模型热力图输出到后续的迭代处理中，对图像序列进行一个或多个迭代处理直至图像序列中的每帧图像均已被处理，在每个迭代处理中：分别基于图像序列中的要处理的当前帧和邻近帧得到当前帧热力图和邻近帧热力图；对迭代多帧模型热力图进行后处理以得到经后处理的迭代多帧模型热力图；基于经后处理的迭代多帧模型热力图、当前帧热力图以及邻近帧热力图得到包括经校正的当前帧的关键点的多帧模型热力图；以及利用所得到的多帧模型热力图来更新迭代多帧模型热力图并将其输出到下一迭代处理。下一迭代处理。下一迭代处理。

【技术实现步骤摘要】
关键点检测方法以及关键点检测装置


[0001]本公开涉及人体关键点检测，并且具体地涉及利用多帧模型的关键点检测方法和关键点检测装置。

技术介绍

[0002]关键点检测通常应用于计算机视觉中的人体图像定位，其用于定位图像中人体各个部位(如手腕、脚踝等)所在的位置。关键点检测在人体行为识别、场景理解等领域有诸多应用。传统的关键点检测是基于单帧图像利用单帧模型进行的，容易受到遮挡的影响而导致检测准确性下降。
[0003]为了提高检测准确性，现有技术提出基于多帧图像利用多帧模型进行关键点检测的方法，其通过引入图像序列中邻近帧之间的相关性来改进存在遮挡时的检测效果。然而，在使用邻近帧时，邻近帧之间的内容变化很小，相比于单帧图像，其多样性较低，信息冗余度较大。
[0004]针对上述问题，Gedas Bertasius,Christoph Feichtenhofer,Du Tran等人在In Advances in Neural Information Processing Systems 2019的3027页
–
3038页的Learning temporal pose estimation from sparsely
‑
labeled videos提出一种PoseWarper网络，该网络利用跨时空的可变形卷积，学习两帧之间的运动偏移，用于在推理过程中从邻近帧聚合时域的关键点信息。在此基础上，Liu Zhenguang,Chen Haoming,Feng Runyang等人在In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2021的525页
‑
534页的Deep Dual Consecutive Network for Human Pose Estimation进一步进行了改进，其中设计了三个模块分别进行以下处理：将单帧模型检测出的邻近帧的关键点相加，确定搜索范围；计算邻近帧之间关键点的偏差，得到帧间的差异；利用可变形卷积处理前两个模块的输出。从结果来看，相比于单帧模型，多帧模型可以提高关键点检测的准确度。

技术实现思路

[0005]由于通过利用多帧模型得到多帧模型热力图，可以提高关键点检测的准确度，进一步可以认识到迭代地使用多帧模型热力图来更新热力图。但是，直接迭代地使用多帧模型热力图存在一些问题。当热力图中存在与被遮挡部位具有相似视觉特征的干扰时，由于干扰所在位置的热力值可能与关键点所在位置的热力值相差不大，如果直接迭代地使用多帧模型热力图可能会得到错误的检测结果。
[0006]针对上述问题，本专利技术提出了一种基于多帧图像的人体关键点检测方法。该方法基于现有多帧图像的人体关键点检测方法得到多帧模型热力图，将其迭代用于下一帧图像的检测，其中为了将多帧模型热力图的高准确度优势延续到下一帧，对迭代的多帧模型热力图进行包括以下处理的后处理：对检测出的关键点所在的强化区域进行强化处理；一致化处理多帧模型热力图和单帧模型热力图，以保证在融合之前具有相同的分布；以及平滑
处理。
[0007]在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0008]根据本专利技术的一个方面，提供了一种关键点检测方法，包括：利用多帧模型对输入的图像序列进行初始处理以得到初始多帧模型热力图，将初始多帧模型热力图作为迭代多帧模型热力图输出到后续的迭代处理中；利用多帧模型对图像序列进行一个或多个迭代处理直至图像序列中的每帧图像均已被处理，其中在每个迭代处理中：利用多帧模型分别基于图像序列中的要处理的当前帧和邻近帧得到当前帧热力图和邻近帧热力图；对迭代多帧模型热力图进行后处理以得到经后处理的迭代多帧模型热力图；利用多帧模型基于经后处理的迭代多帧模型热力图、当前帧热力图以及邻近帧热力图来得到包括经校正的当前帧的关键点的多帧模型热力图；利用所得到的多帧模型热力图来更新迭代多帧模型热力图并将其输出到下一迭代处理。
[0009]根据本专利技术的一个方面，提供了一种关键点检测装置，该关键点检测装置包括多帧模型单元、初始处理单元和迭代处理单元，其中多帧模型单元被配置为对多个单帧热力图进行融合，从而得到融合后的多帧模型热力图，并且检测融合后的多帧模型热力图中的关键点；初始处理单元，被配置为通过多帧模型单元对输入的图像序列进行初始处理以得到初始多帧模型热力图，将初始多帧模型热力图作为迭代多帧模型热力图输出到迭代处理单元中，迭代处理单元通过多帧模型单元对图像序列进行一个或多个迭代处理直至图像序列中的每帧图像均已被处理，其中在每个迭代处理中：通过多帧模型单元分别基于图像序列中的要处理的当前帧和邻近帧得到当前帧热力图和邻近帧热力图；通过多帧模型单元对迭代多帧模型热力图进行后处理以得到经后处理的迭代多帧模型热力图；通过多帧模型单元基于经后处理的迭代多帧模型热力图、当前帧热力图以及邻近帧热力图来得到包括经校正的当前帧的关键点的多帧模型热力图；利用所得到的多帧模型热力图来更新迭代多帧模型热力图并将其输出到下一迭代处理。
[0010]根据本专利技术的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被计算机执行时能够实现关键点检测方法，关键点检测方法包括：利用多帧模型对输入的图像序列进行初始处理以得到初始多帧模型热力图，将初始多帧模型热力图作为迭代多帧模型热力图输出到后续的迭代处理中，利用多帧模型对图像序列进行一个或多个迭代处理直至图像序列中的每帧图像均已被处理，其中在每个迭代处理中：利用多帧模型分别基于图像序列中的要处理的当前帧和邻近帧得到当前帧热力图和邻近帧热力图；对迭代多帧模型热力图进行后处理以得到经后处理的迭代多帧模型热力图；利用多帧模型基于经后处理的迭代多帧模型热力图、当前帧热力图以及邻近帧热力图来得到包括经校正的当前帧的关键点的多帧模型热力图；利用所得到的多帧模型热力图来更新迭代多帧模型热力图并将其输出到下一迭代处理。
[0011]本专利技术通过对多帧模型热力图进行包括强化处理、一致化处理以及平滑处理的后处理，增大了多帧模型热力图中的关键点所在区域与干扰位置区域之间的热力值的差距，进而在迭代处理时，使用经后处理的多帧模型热力图作为前邻近帧的热力图与当前帧和后
邻近帧的单帧模型热力图融合，从而提高检测结果的准确性。
[0012]通过以下结合附图对本专利技术的优选实施方式的详细说明，本专利技术的这些以及其他优点将更加明显。
附图说明
[0013]为了进一步阐述本公开内容的以上和其它优点和特征，下面结合附图对本公开内容的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，包括：利用多帧模型对输入的图像序列进行初始处理以得到初始多帧模型热力图，将所述初始多帧模型热力图作为迭代多帧模型热力图输出到后续的迭代处理中，利用所述多帧模型对所述图像序列进行一个或多个迭代处理直至所述图像序列中的每帧图像均已被处理，其中在每个迭代处理中：利用所述多帧模型分别基于所述图像序列中的要处理的当前帧和邻近帧得到当前帧热力图和邻近帧热力图；对所述迭代多帧模型热力图进行后处理以得到经后处理的迭代多帧模型热力图；利用所述多帧模型基于所述经后处理的迭代多帧模型热力图、所述当前帧热力图以及所述邻近帧热力图来得到包括经校正的当前帧的关键点的多帧模型热力图；以及利用所得到的多帧模型热力图来更新所述迭代多帧模型热力图并将其输出到下一迭代处理。2.根据权利要求1所述的关键点检测方法，其中在所述初始处理中：从所述图像序列中选择初始当前帧，并且将所述图像序列中的在所述初始当前帧之前的至少一个帧选择作为初始前邻近帧，并且将所述图像序列中的在所述初始当前帧之后的至少一个帧选择作为初始后邻近帧；以及利用所述多帧模型分别基于所述初始当前帧、所述初始前邻近帧和所述初始后邻近帧得到初始当前帧热力图、初始前邻近帧热力图以及初始后邻近帧热力图，从而得到所述初始多帧模型热力图。3.根据权利要求1所述的关键点检测方法，其中在每个迭代处理中，将图像序列中的前一迭代处理中处理的当前帧的紧接其后的帧选择为当前迭代处理中要处理的当前帧，并且将所述图像序列中的在当前迭代处理中要处理的当前帧附近并且在其之后的至少一个帧选择为邻近帧。4.根据权利要求1所述的关键点检测方法，其中对所述迭代多帧模型热力图进行后处理包括对所述迭代多帧模型热力图依次进行强化处理、一致化处理以及平滑处理。5.根据权利要求4所述的关键点检测方法，其中对所述迭代多帧模型热力图进行所述强化处理包括：基于所述检测出的关键点在所述迭代多帧模型热力图中选择强化区域；增大所述强化区域的中的每个点的热力值。6.根据权利要求4所述的关键点检测方法，其中对所述迭代多帧模型热力图进行一致化处理包括利用线性变换使经强化处理后的所述迭代多帧模型热力图的热力值的范围与所述当前帧热力图的热力值的范围一致。7.根据权利要求4所述的关...

【专利技术属性】
技术研发人员：王婧怡，李斐，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：