动态三维重建方法、装置、设备、介质和系统制造方法及图纸

本发明专利技术实施例公开了一种动态三维重建方法、装置、设备、介质和系统，涉及计算机视觉技术领域。该方法包括：基于至少两个姿态矩阵，对获取的至少两路深度图进行坐标系统一，其中所述至少两个姿态矩阵根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态在线标定得到；对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐；基于非刚性对齐的至少两路深度图进行动态三维模型的重建。本发明专利技术实施例提供了一种动态三维重建方法、装置、设备、介质和系统，实现了基于非结构化的至少两个图像采集设备，对快速运动人体的动态三维重建。其中，非结构化是指图像采集设备不需要固定,和复杂的预标定工作。

【技术实现步骤摘要】
动态三维重建方法、装置、设备、介质和系统
本专利技术实施例涉及计算机视觉
，尤其涉及一种动态三维重建方法、装置、设备、介质和系统。
技术介绍
三维重建是计算机视觉领域的重点问题。高质量的三维模型在AR、VR、游戏、影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。尤其实时的重建工作对于交互式(如远程立体视频会议，体感游戏、远程教学等)应用具有重要价值。而关于人体三维重建方法，由于人本身运动情况的复杂多变、表面非刚性运动较多，因此是三维重建领域的一个较大的难题。当前重建方法及不足描述如下：单相机实时动态重建：DynamicFusion，该工作通过将动态重建分为物体运动场估计与参考帧下表面融合这两部分，解决了单帧无法观测到完整模型的问题。该方法虽然可以处理一般的运动场景，但是面对快速的人体运动则无能为力，原因是其严重依赖非刚性ICP算法，在帧间快速运动时往往会丢失对应关系，存在固有的局限，它使这种重建技术很难鲁棒的用于快速运动的场景。多相机实时动态重建：Fusion4d简化系统设备，用24个相机组成8对定制的结构光相机，实现了较好的实时重建结果。并在后续工作Holoportation中将这种实时算法在远程会议和教学中的应用加以展示，系统的缺点在于微软定制的结构光相机系统配置仍然非常复杂，结构化，难以搭建。
技术实现思路
本专利技术实施例提供一种动态三维重建方法、装置、设备、介质和系统，以实现基于非结构化的至少两个图像采集设备，对快速运动人体的动态三维重建。其中，非结构化是指图像采集设备不需要固定。第一方面，本专利技术实施例提供了一种动态三维重建方法，该方法包括：基于至少两个姿态矩阵，对获取的至少两路深度图进行坐标系统一，其中所述至少两个姿态矩阵根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定得到；对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐；基于非刚性对齐的至少两路深度图进行动态三维模型的重建。第二方面，本专利技术实施例还提供了一种动态三维重建装置，该装置包括：在线标定模块，用于基于至少两个姿态矩阵，对获取的至少两路深度图进行坐标系统一，其中所述至少两个姿态矩阵根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定得到；非刚性对齐模块，用于对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐；三维重建模块，用于基于非刚性对齐的至少两路深度图进行动态三维模型的重建。第三方面，本专利技术实施例还提供了一种终端，所述终端包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例中任一所述的动态三维重建方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的动态三维重建方法。第五方面，本专利技术实施例还提供了一种动态三维重建系统，所述系统包括：至少二个终端，所述至少二个终端包括一个主终端和至少一个辅终端，其中所述主终端是权利要求14所述的终端，所述至少二个终端的一端各连接一个消费级的图像采集设备，所述至少一个辅终端的另一端与所述主终端连接，用于将通过图像采集设备采集到的深度图进行预处理，并将预处理后的深度图发送给所述主终端，由所述主终端根据采集的至少两路深度图进行重建人体的动态三维重建；至少二个图像采集设备，分别与所述至少二个终端连接用于实时采集动态重建人体不同视角的深度图。本专利技术实施例通过根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定。从而实现图形采集设备的给结构化，甚至手持图像采集设备运动也可以。通过对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐，实现对不同路数据的时间同步。最后，基于非刚性对齐的至少两路深度图进行动态三维模型的重建。附图说明图1为本专利技术实施例一提供的一种动态三维重建方法的流程图；图2是本专利技术实施例一提供的一种动态标定的流程图；图3是本专利技术实施例一提供的一种非刚性对齐的流程图；图4本专利技术实施例二提供的一种动态三维重建方法的流程图；图5是本专利技术实施例三提供的动态三维重建方法的流程图；图6是本专利技术实施例三提供的对各路数据进行同步的示意图；图7是本专利技术实施例四提供的一种动态三维重建装置的结构示意图；图8为本专利技术实施例五提供的一种终端的结构示意图；图9是本专利技术实施例七提供的一种动态三维重建系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在实施例说明之前首先介绍表征动态模型的嵌入变形图模型和SMPL，由嵌入变形模型表征人体表面的非刚性运动，通过人体先验引入SMPL模型表征人体骨骼的刚性运动。嵌入变形模型是一种基于图(Graph)的模型，记为g，可以表达出物体表面发生的任意形状的非刚性变形，同时还可以变形体素。具体来说，从几何模型v(v为TSDF融合得到的体素距离场表示的人体几何模型)中采样得到若干(上千个)节点，每个节点彼此相连构成g，当每个节点具有一个空间变化关系，整个图则在空间中发生非刚性的形变，非刚性运动场可描述为：wt＝{[pj∈R3，σj∈R+，Tj∈SE(3)]}其中j表示图g的第j个节点的序号,pj表示第j个节点三维坐标。σj表示与第j个节点的作用半径，是个预定义参数，它影响体素x相对于第j个节点的置信权重。这个权重定义为wj(x,σj)＝exp(-‖x-pj‖2/(2σj2))。Tj是第j个节点的6自由度变换(三个自由度的平移变换和三个自由度的旋转变换)。引入SMPL是本专利技术工作能够更准确、鲁棒重建人体快速运动的一个关键点。SMPL是一个基于大量人体数据学习得到的统计模型，全称为蒙皮多人体线性模型(ASkinnedMulti-PersonLinearModel)，是一个十分高效的线性人体模型。SMPL模型具有6890个顶点及蒙皮的权值w，其骨架由24个关节构成。人体骨架构成刚性运动，其中每个关节有3个旋转自由度，选择其中一个作为参考，具有三个空间自由度，故就整个人体模型的骨架运动而言，姿态参数总数为75(3×24+3)。人体平均模板记为通过人体形状参数β和人体姿态参数θ可得到特有的人体模板，记作T(β,θ)，具体表示为：这里，Bs(β)和Bp(θ)是顶点偏移向量，分别表示基于形状的变形和基于姿态的变形。人体模型M(β,θ)被表示为：M(β,θ)＝W(T(β,θ),J(β),θ,w)其中W(·)是一个通用的混合蒙皮函数，输入中，T(β,θ)为变形后的体型、J(β)为关节位置、θ为姿态参数、w为蒙皮权值，最终可得到每个顶点的定位信息。由于所有参数都是从数据中学习的，因此该模型会以不同姿势生成非常逼真的形状。具体到顶点经过刚性运动场变形求解由下面的式子求出：和分别为LBS蒙皮求得的顶点位置和法向量，和则为使用线性混合蒙皮(LBS)来从骨骼运动蒙皮中获取，由SMPL定义，表示如下：其中B为骨骼部分的索引集合，是人体骨架和关节划分的；Gi是第i个骨骼部本文档来自技高网...

【技术保护点】
1.一种动态三维重建方法，其特征在于，包括：基于至少两个姿态矩阵，对获取的至少两路深度图进行坐标系统一，其中所述至少两个姿态矩阵根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定得到；对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐；基于非刚性对齐的至少两路深度图进行动态三维模型的重建。

【技术特征摘要】
1.一种动态三维重建方法，其特征在于，包括：基于至少两个姿态矩阵，对获取的至少两路深度图进行坐标系统一，其中所述至少两个姿态矩阵根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定得到；对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐；基于非刚性对齐的至少两路深度图进行动态三维模型的重建。2.根据权利要求1所述的方法，其特征在于，根据至少两路深度图，对采集所述深度图的至少两个图像采集设备进行动态实时标定，包括：获取至少两路深度图；基于所述深度图对采集所述深度图的至少两个图像采集设备进行标定，生成至少两个初始姿态矩阵；基于初始姿态矩阵，将所述深度图进行坐标系统一；基于统一后的所述深度图确定人体表面模型，并根据人体表面模型确定内部人体模型的初始参数；根据姿态约束项对所述初始姿态矩阵进行优化，生成优化姿态矩阵，其中所述姿态约束项包括：所述人体表面模型与所述内部人体模型之间的位置差，所述内部人体模型和统一后的所述深度图之间的位置差，基于内部人体模型确定的同一关节点在不同图像采集设备观测中的位置误差，以及人体姿态先验中的至少一种。3.根据权利要求2所述的方法，其特征在于，所述根据姿态约束项对所述初始姿态矩阵进行优化，生成优化姿态矩阵，包括：根据所述姿态约束项构造如下姿态能量方程：Einit(T,β0,θ0)＝λvdataEvdata+λsdataEsdata+λpdataEpdata+λpriorEprior其中，T是姿态矩阵，β0是形状参数，θ0是姿态参数，λvdata、λsdata、λpdata、λprior是权值系数，Evdata是基于体素的能量项，用于衡量人体表面模型与所述内部人体模型之间的匹配误差，Esdata表征基于内部人体模型确定的同一关节点在不同图像采集设备观测中的位置误差，Epdata是投影数据项，表征基于内部人体模型确定的同一关节点在不同图像采集设备观测中的位置误差，Eprior表征人体姿态先验；最小化所述姿态能量方程，生成优化姿态矩阵。4.根据权利要求1所述的方法，其特征在于，所述对经过坐标系统一的至少两路深度图进行骨骼变形的非刚性对齐，包括：根据时间戳分别从经过坐标系统一的至少两路深度图中，获取至少二张待同步的深度图；根据所述至少二张待同步的深度图，分别确定至少二个待同步的人体表面模型；基于所述至少二个待同步的人体表面模型，确定针对各路深度图的运动姿态增量；根据运动姿态增量对所述至少二张待同步的深度图进行骨骼变形的非刚性对齐。5.根据权利要求4所述的方法，其特征在于，基于所述至少二个待同步的人体表面模型，确定针对各路深度图的运动姿态增量，包括：根据所述待同步的人体表面模型确定统一的内部人体模型；将根据至少二个待同步的人体表面模型确定的至少二个待同步的内部人体模型，与统一的内部人体模型进行比较，确定针对各路数据的运动姿态增量。6.根据权利要求1所述的方法，其特征在于，所述基于非刚性对齐的至少两路深度图进行动态三维模型的重建，包括：根据经过非刚性对齐的参考帧深度图，确定参考帧人体表面模型和参考帧内部人体模型；根据目标视频中除参考帧深度图外的其他帧深度图，确定其他帧人体表面模型和其他帧内部人体模型，其中所述其他帧深度图经过非刚性对齐；根据其他帧内部人体模型与参考帧内部人体模型，确定重建人体在参考帧和其他帧之间的骨骼刚性运动场；基于骨骼刚性运动场将其他帧内部人体模型和参考帧人体表面模型转换至同一姿态；根据运动约束项对所述骨骼刚性运动场进行优化，得到最终的非刚性运动场，其中所述运动约束项包括：其他帧内部人体模型与参考帧内部人体模型之间的运动姿态增量、参考帧人体表面模型与其他帧内部人体模型之间的位置关系、预设正则项、人体姿态先验，以及各路深度图中重建人体的姿态参数与经过各路深度图中重建人体的姿态参数共同优化出的全局姿态参数之间的联系中的至少一种；基于非刚性运动场对参考帧人体表面模型进行变形，得到动态人体三维模型。7.根据权利要求6所述的方法，其特征在于，根据运动约束项对所述骨骼刚性运动场进行优化，得到非刚性运动场，包括：根据运动约束项构造如下运动能量方程，Emot(G，θ)＝λdataEdata+λbindEbind+λregEreg-λpriorEprior+λskeleEskele其中λdata、λbind、λreg、λprior和λskele是权值系数，G是一种表达物体表面发生任意形状的非刚性变形的模型，即非刚性运动场，θ是人体模型姿态参数，表征了每个关节的位置，Edata是数据项，表征其他帧内部人体模型与参考帧内部人体模型之间的运动姿态增量，Ebind是捆绑项，表征参考帧人体表面模型与其他帧内部人体模型之间的位置关系，Ereg是正则项，表征对参考帧人体表面模型加设关节运动惩罚因子，Eprior是人体先验运动约束项，用于惩罚人体运动过程中产生的不自然的人体姿态，Eskele是骨骼项，表征各路深度图中重建人体的姿态参数与经过各路深度图中重建人体的姿态参数共同优化出的全局姿态参数之间的联系；最小化所述运动能量方程，将确定的G作为求解的非刚性运动场。8.根据权利要求6所述的方法，其特征在于，基于非刚性运动场对参考帧人体表面模型进行变形，得到动态人体三维模型之前，...

【专利技术属性】
技术研发人员：方璐，苏卓，许岚，
申请(专利权)人：清华伯克利深圳学院筹备办公室，
类型：发明
国别省市：广东,44