基于时间注意力机制的三维人体重建方法及相关设备技术

本公开提供了一种基于时间注意力机制的三维人体重建方法及相关设备，涉及三维重建技术领域。该方法包括，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据融合特征，确定重建后的三维人体。本公开结合注意力机制以及分层特征融合模块，捕捉视频序列中运动的连续性依赖关系，可以提高基于视频序列重建的三维人体的平滑性以及动作连贯性。性。性。

【技术实现步骤摘要】
基于时间注意力机制的三维人体重建方法及相关设备


[0001]本公开涉及三维重建
，尤其涉及一种基于时间注意力机制的三维人体重建方法及相关设备。

技术介绍

[0002]基于单目视频的人体模型姿势和形状重建问题是计算机视觉和人工智能领域的重要问题。生成准确以及平滑的三维人体重建结果在虚拟和增强现实领域具有广泛的应用前景和重要的应用价值。
[0003]现有技术中，基于视频的三维人体重建大多是基于单帧的重建，忽略了帧间的依赖关系，影响了重建后的平滑性以及动作的连贯性。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种基于时间注意力机制的三维人体重建方法及相关设备，至少在一定程度上克服由于相关技术中重建三维人体平滑性差的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供了一种基于时间注意力机制的三维人体重建方法，包括：根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据所述融合特征，确定重建后的三维人体。
[0008]在一些实施例中，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征包括：根据连续多帧图像，通过深度神经网络提取每一帧图像的静态特征，确定连续多帧图像中每一帧图像对应的静态特征。
[0009]在一些实施例中，根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征包括：对静态特征进行卷积运算与归一化运算，确定注意力图；对静态特征进行转置运算与归一化运算，确定校准矩阵；对所述注意力图与所述校准矩阵进行卷积运算与归一化运算，确定注意力矩阵；根据所述注意力矩阵对所有时间位置上的静态特征进行加权，确定加权静态特征；根据残差连接加权静态特征与静态特征，确定每个静态特征对应的时间特征。
[0010]在一些实施例中，根据时间序列对全部时间特征进行特征融合，确定融合特征包括：将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征。
[0011]在一些实施例中，将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征包括：根据按照时间顺序以
当前帧为中心，将时间特征分为过去组、现在组、未来组；注意力参数生成步骤：每一组通过多层全连接层后生成多个注意力参数；特征融合步骤：将注意力参数分别与对应帧的时间特征点乘，得到过去组融合特征、现在组融合特征、未来组融合特征；过去组融合特征、现在组融合特征、未来组融合特征再通过注意力参数生成步骤和特征融合步骤，确定融合特征。
[0012]在一些实施例中，根据所述融合特征，确定重建后的三维人体包括：根据所述融合特征进行SMPL参数预测，得到SMPL人体参数；根据所述SMPL人体参数，确定重建后的三维人体。
[0013]在一些实施例中，在根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征之前，所述方法还包括：获取目标视频；根据所述目标视频，确定连续多帧图像。
[0014]根据本公开的另一个方面，还提供了一种基于时间注意力机制的三维人体重建装置，其特征在于，包括：静态特征提取模块，用于根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；时间特征确定模块，用于根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；特征融合模块，用于根据时间序列对全部时间特征进行特征融合，确定融合特征；三维人体确定模块，用于根据所述融合特征，确定重建后的三维人体。
[0015]根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于时间注意力机制的三维人体重建方法。
[0016]根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于时间注意力机制的三维人体重建方法。
[0017]根据本公开的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意一项的基于时间注意力机制的三维人体重建方法。
[0018]本公开的实施例中提供的基于时间注意力机制的三维人体重建方法及相关设备，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据融合特征，确定重建后的三维人体。本公开结合注意力机制以及分层特征融合模块，捕捉视频序列中运动的连续性依赖关系，可以提高基于视频序列重建的三维人体的平滑性以及动作连贯性。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1示出本公开实施例中一种基于时间注意力机制的三维人体重建方法的示例性
应用系统架构示意图；
[0022]图2示出本公开实施例中一种基于时间注意力机制的三维人体重建方法流程图；
[0023]图3示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0024]图4示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0025]图5示出本公开实施例中一种基于时间注意力机制的三维人体重建方法的动作连续性注意力模块运行示意图；
[0026]图6示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0027]图7示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0028]图8示出本公开实施例中一种基于时间注意力机制的三维人体重建方法的分层特征融合模块运行示意图；
[0029]图9示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0030]图10示出本公开实施例中一种基于时间注意力机制的三维人体重建方法一具体实例的流程图；
[0031]图11示出本公开实施例中一种基于时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间注意力机制的三维人体重建方法，其特征在于，包括：根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据所述融合特征，确定重建后的三维人体。2.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征包括：根据连续多帧图像，通过深度神经网络提取每一帧图像的静态特征，确定连续多帧图像中每一帧图像对应的静态特征。3.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征包括：对静态特征进行卷积运算与归一化运算，确定注意力图；对静态特征进行转置运算与归一化运算，确定校准矩阵；对所述注意力图与所述校准矩阵进行卷积运算与归一化运算，确定注意力矩阵；根据所述注意力矩阵对所有时间位置上的静态特征进行加权，确定加权静态特征；根据残差连接加权静态特征与静态特征，确定每个静态特征对应的时间特征。4.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据时间序列对全部时间特征进行特征融合，确定融合特征包括：将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征。5.根据权利要求4所述的基于时间注意力机制的三维人体重建方法，其特征在于，将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征包括：根据按照时间顺序以当前帧为中心，将时间特征分为过去组、现在...

【专利技术属性】
技术研发人员：苏明兰，张超颖，刘巧俏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：