本公开提供了一种调整三维姿态的方法、装置、电子设备及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维视觉和人体驱动场景下。具体实现方案为：获取当前录制的视频；基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果；通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。整为目标三维姿态。整为目标三维姿态。
【技术实现步骤摘要】
调整三维姿态的方法、装置、电子设备及存储介质
[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维视觉和人体驱动场景下，尤其涉及调整三维姿态的方法、装置、电子设备及存储介质。
技术介绍
[0002]在人工智能领域中，经常需要获取人体的三维姿态。由于传统的估计人体三维姿态的方法需要使用复杂的动作捕获设备，例如动捕服、光捕设备等，因此，设备要求较简单的基于单目视频的动作捕捉技术得到广泛应用。对此，本领域的技术人员不断尝试各种基于单目视频估计人体三维姿态的算法。
[0003]现有方案中，基于单目视频估计人体三维姿态的算法中，并没有针对人体脚部接地效果的约束模型进行优化，也就是说，该算法准确度较低，这导致了该算法估计所得的人体三维姿态存在抖动情况，人体脚部动作存在明显的漂浮感。
[0004]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本公开提供了调整三维姿态的方法、装置、电子设备及存储介质，以至少解决现有技术中由于算法中没有针对人体脚部接地效果的约束模型进行优化，导致对人体三维姿态估计不准确，人体脚部动作存在明显的漂浮感的技术问题。
[0006]根据本公开其中一实施例，提供了一种调整三维姿态的方法，包括：获取当前录制的视频，其中，视频包括：多个图像帧，多个图像帧的每个图像帧中均显示有虚拟三维模型；基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，检测结果用于表明目标部位与虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。
[0007]根据本公开其中一实施例，还提供了一种调整三维姿态的的装置，包括：获取模块，用于获取当前录制的视频，其中，视频包括：多个图像帧，多个图像帧的每个图像帧中均显示有虚拟三维模型；估计模块，用于基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；检测模块，用于利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，检测结果用于表明目标部位与虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；确定模块，用于通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；调整模块，用于采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。
[0008]根据本公开其中一实施例，还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的调整三维姿
态的方法。
[0009]根据本公开其中一实施例，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的调整三维姿态的方法。
[0010]根据本公开其中一实施例，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的调整三维姿态的方法。
[0011]本公开的实施例中，获取当前录制的视频，其中，视频包括：多个图像帧，多个图像帧的每个图像帧中均显示有虚拟三维模型；通过获取基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；并且利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，检测结果用于表明目标部位与虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；采用通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点的方法，基于多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态，达到了对基于单目视频估计人体三维姿态的算法进行改进的目的，实现了通过在基于单目视频估计人体三维姿态的算法中加入接地约束以提高人体脚部动作稳定性的技术效果，解决了现有技术中由于算法中没有针对人体脚部接地效果的约束模型进行优化，导致对人体三维姿态估计不准确，人体脚部动作存在明显的漂浮感的技术问题。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开实施例的一种用于实现调整三维姿态的方法的计算机终端(或移动设备)的硬件结构框图；
[0015]图2是根据本公开实施例提供的一种调整三维姿态的方法的流程图
[0016]图3是根据本公开实施例的一种可选的调整三维姿态的方法进行人体站立姿态脚部动作估计的结果示意图；
[0017]图4是根据本公开实施例的一种可选的调整三维姿态的方法进行人体行走姿态脚部动作估计的结果示意图；
[0018]图5是根据本公开实施例的提供的一种调整三维姿态的装置的结构框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆
盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]根据本公开实施例，提供了一种调整三维姿态的方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0022]本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种调整三维姿态的方法，包括：获取当前录制的视频，其中，所述视频包括：多个图像帧，所述多个图像帧的每个图像帧中均显示有虚拟三维模型；基于所述多个图像帧估计得到所述虚拟三维模型的多个二维关键点和初始三维姿态；利用所述多个二维关键点对所述虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，所述检测结果用于表明所述目标部位与所述虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；通过所述检测结果和所述初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；采用所述多个初始三维关键点和所述多个目标三维关键点将所述初始三维姿态调整为目标三维姿态。2.根据权利要求1所述的方法，其中，基于所述多个图像帧估计得到所述多个二维关键点和所述初始三维姿态包括：从所述多个图像帧的每个图像帧中检测目标区域，其中，所述目标区域包含有所述虚拟三维模型；对所述目标区域进行裁剪处理，得到多个目标图片块；基于所述多个目标图片块估计得到所述多个二维关键点和所述初始三维姿态。3.根据权利要求2所述的方法，其中，基于所述多个目标图片块估计得到所述多个二维关键点和所述初始三维姿态包括：采用预设二维估计方式从所述多个目标图片块中估计得到第一估计结果；采用预设三维估计方式从所述多个目标图片块中估计得到第二估计结果；对所述第一估计结果进行平滑处理，得到所述多个二维关键点，以及对所述第二估计结果进行平滑处理，得到所述初始三维姿态。4.根据权利要求1所述的方法，其中，利用所述多个二维关键点对所述目标部位进行接触检测，得到所述检测结果包括：采用预设神经网络模型对所述多个二维关键点进行分析，得到所述目标部位对应的二维关键点的检测标签，其中，所述预设神经网络模型使用多组数据通过机器学习训练得到，所述多组数据中的每组数据均包括：带有所述检测标签的二维关键点，所述检测标签用于表示所述目标部位对应的二维关键点与所述目标接触面之间是否发生接触。5.根据权利要求4所述的方法，其中，所述方法还包括：利用所述初始三维姿态的第一姿态参数，确定所述多个初始三维关键点的初始值。6.根据权利要求5所述的方法，其中，通过所述检测结果和所述多个初始三维关键点，确定所述多个目标三维关键点包括：采用所述多个初始三维关键点的初始值对所述多个目标三维关键点进行初始化，得到所述多个目标三维...
【专利技术属性】
技术研发人员：陈冠英，叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。