基于分层学习的循环神经网络用于三维人体运动合成方法技术

本发明专利技术提供一种基于分层学习的循环神经网络用于三维人体运动合成方法，包括：训练模型步骤与测试模型步骤；训练模型步骤包括：采用GRU单元构建低层运动信息提取网络；采用GRU网络建立高层运动合成网络；采用带有不同风格的运动数据作为高层运动合成网络的输入，将所述运动数据骨架特征结合所述低层运动信息提取网络提取的运动特征作为输入，训练所述高层运动合成网络学习不同风格的运动的骨架时空关系信息；测试集中运动数据的前30帧数据输入到训练之后的高层运动合成网络中，最终进行验证。本发明专利技术不仅能够用于合成符合输入轨迹的运动，而且能够用于生成两种不同类型动作间的过渡动作，同时还可以用于合成具有不同情感风格的运动序列。

【技术实现步骤摘要】
基于分层学习的循环神经网络用于三维人体运动合成方法
本专利技术涉及计算机图形学和人体运动建模
，具体而言，尤其涉及一种基于分层学习的循环神经网络用于三维人体运动合成方法。
技术介绍
三维人体运动捕捉设备是一种用于准确测量人体在三维空间中运动状况的高技术设备。它基于多目视频和计算机图形学等方法技术，可准确获取运动人体关节点的三维数据，进而基于人体拓扑结构，重构形成人体运动运动数据集。该数据集具有广泛的应用价值，可广泛用于计算机动画、虚拟现实、安保监控和人-机器人交互等与人体运动分析相关的领域。另一方面，由于人体运动的个性化与数据通用性需求之间的矛盾，限制了人体运动数据的重用性。由于经济和时间成本以及其他因素，新数据的获取需要花费较高成本，并且容易造成相同类型数据的大量冗余。因此，如何有效的重用已有运动数据已成为学术和工程领域亟待解决的关键问题之一。人体运动合成技术基于已有的数据集，合成满足需求的各类新运动。该技术不仅可以解决上述讲到的数据重用问题，而且还可以打破与人体运动分析相关领域的硬件壁垒问题，具有重要的研究价值与意义。与此同时，在自然人-机器人交互、自动驾驶等人工智能的典型代表领域，该技术作为机器理解、分析和预测人类行为的基础支撑技术之一，展现出了更为广泛、更具生命力的研究和应用价值，受到了越来越多研究学者的关注。人体运动合成技术由于其研究难度高、实用性强、商业价值大的原因成为学术界和应用领域的研究热点之一。运动合成技术的代表性方法主要包含三种类型：基于优化的方法，基于深度学习方法和基于强化学习方法。基于优化的方法虽然可以合成满足约束的运动，但是建模过程复杂，很难处理较大的数据集。基于强化学习的方法虽然能够与外界环境进行交互，但是仍然受限于复杂的建模过程以及单一的运动形式。与之相比，基于深度学习的方法能够处理运动形式多样的大数据集，将能够将复杂的运动数据编码到小型、固定大小的网络中。上述优势使其逐渐成为运动合成领域的研究热点。.
技术实现思路
根据上述提出的技术问题，而提供一种基于分层学习的循环神经网络用于三维人体运动合成方法。本专利技术主要利用一种基于分层学习的循环神经网络用于三维人体运动合成方法，包括：训练模型步骤与测试模型步骤，其特征在于：所述训练模型步骤包括以下步骤：步骤S11：采用GRU单元构建低层运动信息提取网络，所述网络将数据集中骨架每一帧的曲率和平均速度信息作为输入，经过训练之后网路能够输出角色每一帧的运动特征；步骤S12：采用GRU网络建立高层运动合成网络；将数据集中的骨架特征与S11中提取的运动特征相结合作为输入，训练网络学习运动序列间前后的时空关系，合成遵循用户输入轨迹的运动序列；步骤S13：采用带有不同风格的运动数据作为高层运动合成网络的输入，将所述运动数据骨架特征结合所述步骤S11中所述低层运动信息提取网络提取的运动特征作为输入，训练所述高层运动合成网络学习不同风格的运动的骨架时空关系信息，合成带有不同风格的运动序列，即将正常的走路风格的运动数据转换为带有情绪的走路风格数据；更进一步地，所述测试模型步骤包括以下步骤：步骤S21：将所述数据集中的数据随机筛选出测试数据作为测试集，在所述测试集中运动数据的前30帧数据输入到训练之后的高层运动合成网络中，合成不同种类的运动序列，对比所述低层运动信息提取网络提取运动信息的准确度，及所述合成的运动序列与真实的运动序列之间的关节距离误差和合成动画的效果测试所述训练之后的高层运动合成网络的性能；步骤S22：在风格运动合成任务中，对比了合成的带有不同运动风格的动画效果来证明模型的有效性。进一步地，在所述步骤S11中，通过以下步骤获取循环神经网络模型：对输入的运动数据输入GRU网络进行训练，所述GRU网络为：zt＝σ(Wz·[ht-1,xt])rt＝σ(Wr·[ht-1,xt])其中，σ表示sigmoid激活函数，tanh表示tanh激活函数，W表示权重参数，(·)表示点乘，(*)表示矩阵乘法；zt表示更新门状态，更新门根据上一步隐藏状态ht-1和本单元更新之后的隐藏状态的保留程度来更新GRU单元的最终隐藏状态ht，Wz表示GRU单元中更新门的权重，Wr表示重置门rt的权重，重置门根据上一步的隐藏状态信息来重置本单元的隐藏信息xt表示GRU单元的输入信息。更进一步地，所述的低层运动特征提取：首先，定义函数如下：其中，X＝(x2,x1),X∈R2；其中，qi表示第i帧角色的偏移值，qi+1表示第i+1帧角色的偏移值，qi∈R2，pi表示第i帧角色根关节的x、y轴世界坐标位置，pi+1表示第i+1帧角色根关节的x、y轴世界坐标位置，pi∈R2；ci＝f(qi)；其中，ci是用于输入的曲率特征；其中，si表示经过高斯滤波器后的角色根关节瞬时速度；exp(i)表示高斯滤波函数；σ表示高斯滤波函数的参数；其中，b表示角色的平均速度，L表示运动序列的长度，θi表示脚部的接触信息；当左脚接触地面时，指定θi＝2π；当右脚接触地面时，指定θi＝π；di＝{cosδi,sinδi}；其中，di表示每一帧角色的运动朝向，δi表示x、y轴的欧拉方向角；fi＝||sicosθi,sisinθi||2；其中，fi表示角色的本地速度特征量，根据根关节的瞬时速度计算人体步伐的运动特征量fi；其中，βi表示一个完整序列的运动参数；gi＝f(βi+1)-f(βi)；gi是使用差分法计算出的角色的步频特征。进一步地，S12中所述的高层运动合成网络的输入特征可以表示为：其中，表示第i帧控制参数中第一个特征，θ为脚关节的接触信息；高层网络合成运动的过程可以表示为公式：xk+1＝P({x1,E1,T1},{x2,E2,T2}，...，{xk,Ek,Tk}，φ)；其中，Ti表示为上一时刻角色的骨架高度和平均速度作为附加转换参数，Ti∈R2，T1时刻的附加转换参数为自身的高度与平均速度，φ表示网络的训练参数。较现有技术相比，本专利技术具有以下优点：1)本专利技术不仅能够用于合成符合输入轨迹的运动，而且能够用于生成两种不同类型动作间的过渡动作，同时还可以用于合成具有不同情感风格的运动序列。2)本专利技术合成的运动序列误差相较于其他方法误差值更低，合成运动更加准确。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术中基于分层学习的循环神经网络用于三维人体运动合成方法的整体框架示意图。图2低层网络提取运动信息的准确度对本文档来自技高网...

【技术保护点】
1.一种基于分层学习的循环神经网络用于三维人体运动合成方法，包括：训练模型步骤与测试模型步骤，其特征在于：/n所述训练模型步骤包括以下步骤：/nS11：采用GRU单元构建低层运动信息提取网络，所述网络将数据集中骨架每一帧的曲率和平均速度信息作为输入，经过训练之后网路能够输出角色每一帧的运动特征；/nS12：采用GRU网络建立高层运动合成网络；将数据集中的骨架特征与S11中提取的运动特征相结合作为输入，训练网络学习运动序列间前后的时空关系，合成遵循用户输入轨迹的运动序列；/nS13：采用带有不同风格的运动数据作为高层运动合成网络的输入，将所述运动数据骨架特征结合所述步骤S11中所述低层运动信息提取网络提取的运动特征作为输入，训练所述高层运动合成网络学习不同风格的运动的骨架时空关系信息，合成带有不同风格的运动序列，即将正常的走路风格的运动数据转换为带有情绪的走路风格数据；/n所述测试模型步骤包括以下步骤：/nS21：将所述数据集中的数据随机筛选出测试数据作为测试集，在所述测试集中运动数据的前30帧数据输入到训练之后的高层运动合成网络中，合成不同种类的运动序列，对比所述低层运动信息提取网络提取运动信息的准确度，及所述合成的运动序列与真实的运动序列之间的关节距离误差和合成动画的效果测试所述训练之后的高层运动合成网络的性能；/nS22：在风格运动合成任务中，对比了合成的带有不同运动风格的动画效果来证明模型的有效性。/n...

【技术特征摘要】
1.一种基于分层学习的循环神经网络用于三维人体运动合成方法，包括：训练模型步骤与测试模型步骤，其特征在于：
所述训练模型步骤包括以下步骤：
S11：采用GRU单元构建低层运动信息提取网络，所述网络将数据集中骨架每一帧的曲率和平均速度信息作为输入，经过训练之后网路能够输出角色每一帧的运动特征；
S12：采用GRU网络建立高层运动合成网络；将数据集中的骨架特征与S11中提取的运动特征相结合作为输入，训练网络学习运动序列间前后的时空关系，合成遵循用户输入轨迹的运动序列；
S13：采用带有不同风格的运动数据作为高层运动合成网络的输入，将所述运动数据骨架特征结合所述步骤S11中所述低层运动信息提取网络提取的运动特征作为输入，训练所述高层运动合成网络学习不同风格的运动的骨架时空关系信息，合成带有不同风格的运动序列，即将正常的走路风格的运动数据转换为带有情绪的走路风格数据；
所述测试模型步骤包括以下步骤：
S21：将所述数据集中的数据随机筛选出测试数据作为测试集，在所述测试集中运动数据的前30帧数据输入到训练之后的高层运动合成网络中，合成不同种类的运动序列，对比所述低层运动信息提取网络提取运动信息的准确度，及所述合成的运动序列与真实的运动序列之间的关节距离误差和合成动画的效果测试所述训练之后的高层运动合成网络的性能；
S22：在风格运动合成任务中，对比了合成的带有不同运动风格的动画效果来证明模型的有效性。


2.根据权利要求1所述的基于分层学习的循环神经网络用于三维人体运动合成方法，其特征在于，在所述步骤S11中，通过以下步骤获取循环神经网络模型：
对输入的运动数据输入GRU网络进行训练，所述GRU网络为：
zt＝σ(Wz·[ht-1,xt])
rt＝σ(Wr·[ht-1,xt])






其中，σ表示sigmoid激活函数，tanh表示tanh激活函数，W表示权重参数，(·)表示点乘，(*)表示矩阵乘法；zt表示更新门状态，更新门根据上一步隐藏状态ht-1和本单元更新之后的隐藏状态的保留程度来更新GRU单元的最终隐藏状态ht，Wz表示GRU单元中更新门的权重，Wr表示重置门...

【专利技术属性】
技术研发人员：周东生，郭重阳，杨鑫，张强，魏小鹏，
申请(专利权)人：大连大学，
类型：发明
国别省市：辽宁;21