本发明专利技术提供多视角人体运动捕捉方法、装置、系统、介质及终端，包括：获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；从所述多视角同步视频信号中提取对应的多视角2D人体关键点；获取所述2D人体关键点各个视角之间的关联信息；基于所述关联信息进行最优化计算，以获取3D人体姿态信息。本发明专利技术只需普通的RGB摄像头即可进行捕捉；缓解了自遮挡问题，具有更高的捕捉精准度；相较于使用惯性传感器进行运动捕捉具有较好的实时性、更低的使用门槛以及更大的识别范围且不限制人数；减少可穿戴设备，可以改善使用者的使用体验，并具有更高的活动自由度。活动自由度。活动自由度。
【技术实现步骤摘要】
多视角人体运动捕捉方法、装置、系统、介质及终端
[0001]本专利技术涉及人体运动捕捉
，特别是涉及一种多视角人体运动捕捉方法、装置、系统、介质及终端。
技术介绍
[0002]随着虚拟现实(VR)和增强现实(AR)的普及，产业界对于可靠的3D人体运动捕捉的需求越来越大。作为广泛使用的基于标记(Marker
‑
Based)和传感器(Sensor
‑
Based)的运动捕捉解决方案的低成本替代品，无标记光学运动捕捉减轻了对具有侵入性的穿戴式运动传感器和标记的需求。
[0003]现有的无标记光学运动捕捉技术多采用单视角运动捕捉方法，存在自遮挡问题，捕捉精准度较差，并且捕捉设备要求具有深度传感器，实施成本较高。
技术实现思路
[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供多视角人体运动捕捉方法、装置、系统、介质及终端，用于解决现有技术中的人体运动捕捉精度不足的技术问题。
[0005]为实现上述目的及其它相关目的，本专利技术的第一方面提供一种多视角人体运动捕捉方法，包括：获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；从所述多视角同步视频信号中提取对应的多视角2D人体关键点；获取所述多视角2D人体关键点之间的关联信息；基于所述关联信息进行最优化计算，以获取所述待捕捉对象的3D人体姿态信息。
[0006]于本专利技术的第一方面的一些实施例中，所述音频信号为高频音频信号；所述多视角视频信号的画面时间同步方式包括：基于所述视频信号的时间戳确定其粗差；将各视频信号对应的所述高频音频信号与理想高频特征声波进行卷积计算，以确定视频信号之间的精细误差；结合所述精细误差和所述粗差实现多视角视频信号的帧级别画面时间同步。
[0007]于本专利技术的第一方面的一些实施例中，所述3D人体姿态信息的获取方式包括：构建3D人体姿态估计模型，并在其上标记3D人体关键点；预定义一能量函数，其包括：2D关键点项、时序稳定项、姿态先验项和关节限制项；所述2D关键点项与所述3D人体关键点投影到各个视角下的2D像素坐标与其对应的2D人体关键点距离相关；所述时序稳定项与所述运动捕捉在时序上的连续性相关；所述姿态先验项与关节旋转真实度相关；所述关节限制项与关节旋转角度相关；对所述能量函数进行最优化计算以获取所述3D人体姿态信息。
[0008]于本专利技术的第一方面的一些实施例中，所述关联信息的获取方式包括：构建自底向上的基于RGB数据的2D人体姿态估计模型；利用所述2D人体姿态估计模型从所述多视角同步视频信号中提取对应的2D人体关键点和关键点之间的连接分数；整合多视角的所述2D人体关键点和关键点之间的连接分数，建立邻边权重为对应2D人体关键点对的连接分数的带权无向图模型；最大化所述带权无向图模型生成子树的权重，以获取所述关联信息。
[0009]于本专利技术的第一方面的一些实施例中，所述多视角视频信号及各视频信号对应的
音频信号由多台移动设备从多个角度拍摄获取，并分别以推流的形式被独立地传递至服务器，以实时捕捉所述3D人体姿态信息。
[0010]于本专利技术的第一方面的一些实施例中，所述方法包括：基于所述3D人体姿态信息捕捉获取人体动作数据，包括面部动作数据和肢体动作数据。
[0011]为实现上述目的及其它相关目的，本专利技术的第二方面提供一种多视角人体运动捕捉装置，包括：信号获取模块，用于获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；信号同步模块，用于基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；关键点提取模块，用于从所述多视角同步视频信号中提取对应的多视角2D人体关键点；关联信息获取模块，用于获取所述多视角2D人体关键点之间的关联信息；人体姿态信息获取模块，用于基于所述关联信息进行最优化计算，以获取所述待捕捉对象的3D人体姿态信息。
[0012]为实现上述目的及其它相关目的，本专利技术的第三方面提供一种多视角人体运动捕捉系统，包括：多个视频信号采集装置，用于采集待捕捉对象的视频信号；音频信号发生装置，用于发出高频特征声波信号；前述的多视角人体运动捕捉装置，用于获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；从所述多视角同步视频信号中提取对应的多视角2D人体关键点；获取所述多视角2D人体关键点之间的关联信息；基于所述关联信息进行最优化计算，以获取所述待捕捉对象的3D人体姿态信息。
[0013]为实现上述目的及其它相关目的，本专利技术的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述多视角人体运动捕捉方法。
[0014]为实现上述目的及其它相关目的，本专利技术的第五方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述多视角人体运动捕捉方法。
[0015]如上所述，本专利技术提出的多视角人体运动捕捉方法、装置、系统、介质及终端，只需普通的RGB摄像头即可进行捕捉，对于移动设备是否具有深度传感器不做要求。相比单视角运动捕捉技术，本专利技术缓解了自遮挡问题，具有更高的捕捉精准度。相比其他大部分多视角运动捕捉技术，本专利技术具有较好的实时性。相比使用惯性传感器(如陀螺仪)，本专利技术具有更低的使用门槛，只需使用者具有几台移动设备；可以达到相似甚至更高的捕捉精度，以及更大的识别范围；减少可穿戴设备，可以改善使用者的使用体验，并具有更高的活动自由度；不限制人数，捕捉人数增加时不需要增加移动设备。
附图说明
[0016]图1显示为本专利技术一实施例中一种多视角人体运动捕捉方法流程示意图。
[0017]图2显示为本专利技术一实施例中另一种多视角人体运动捕捉方法流程示意图。
[0018]图3显示为本专利技术一实施例中一种多视角人体运动捕捉装置结构示意图。
[0019]图4显示为本专利技术一实施例中一种多视角人体运动捕捉系统结构示意图。
[0020]图5显示为本专利技术一实施例中一种电子终端的结构示意图。
具体实施方式
[0021]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其它优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0022]需要说明的是，在下述描述中，参考附图，附图描述了本专利技术的若干实施例。应当理解，还可使用其它实施例，并且可以在不背离本专利技术的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本专利技术的实施例的范围仅由公布的专利本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多视角人体运动捕捉方法，其特征在于，包括：获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；从所述多视角同步视频信号中提取对应的多视角2D人体关键点；获取所述多视角2D人体关键点之间的关联信息；基于所述关联信息进行最优化计算，以获取所述待捕捉对象的3D人体姿态信息。2.根据权利要求1所述的多视角人体运动捕捉方法，其特征在于，所述音频信号为高频音频信号；所述多视角视频信号的画面时间同步方式包括：基于所述视频信号的时间戳确定其粗差；将各视频信号对应的所述高频音频信号与理想高频特征声波进行卷积计算，以确定视频信号之间的精细误差；结合所述精细误差和所述粗差实现多视角视频信号的帧级别画面时间同步。3.根据权利要求1所述的多视角人体运动捕捉方法，其特征在于，所述3D人体姿态信息的获取方式包括：构建3D人体姿态估计模型，并在其上标记3D人体关键点；预定义一能量函数，其包括：2D关键点项、时序稳定项、姿态先验项和关节限制项；所述2D关键点项与所述3D人体关键点投影到各个视角下的2D像素坐标与其对应的2D人体关键点距离相关；所述时序稳定项与所述运动捕捉在时序上的连续性相关；所述姿态先验项与关节旋转真实度相关；所述关节限制项与关节旋转角度相关；对所述能量函数进行最优化计算以获取所述3D人体姿态信息。4.根据权利要求1所述的多视角人体运动捕捉方法，其特征在于，所述关联信息的获取方式包括：构建自底向上的基于RGB数据的2D人体姿态估计模型；利用所述2D人体姿态估计模型从所述多视角同步视频信号中提取对应的2D人体关键点和关键点之间的连接分数；整合多视角的所述2D人体关键点和关键点之间的连接分数，建立邻边权重为对应2D人体关键点对的连接分数的带权无向图模型；最大化所述带权无向图模型生成子树的权重，以获取所述关联信息。5.根据权利要求1所述的多视角人...
【专利技术属性】
技术研发人员：梁瀚，黄程宇，张启煊，吴迪，许岚，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。