【技术实现步骤摘要】
本申请属于三维扫描领域，涉及一种面部模型重建方法、装置、设备及介质。
技术介绍
1、随着三维数字化技术的快速发展，其在各个领域的应用越来越广泛。以医疗领域为例，治疗方案的设计和治疗效果的评估日益依赖三维模型的重建技术，为了达到精确模拟和评估的要求，往往需要获取用户的动态面部模型，其中，动态面部模型包括多个不同表情状态下的三维面部模型。
2、在重建每个表情状态对应的三维面部模型时，相关技术依赖于相同表情状态下的多角度的点云数据。然而，若仅利用单个扫描设备，采集点云数据需要花费一定的扫描时间，在扫描时间内，用户往往难以维持固定面部表情不变。若面部表情发生非刚体变化(比如微笑、眨眼等)，将会导致需要进行重复扫描，从而造成动态面部模型的重建效率不佳。
技术实现思路
1、鉴于以上内容，有必要提供一种面部模型重建方法、装置、设备及介质，能够解决在单个扫描设备的情况下，由于用户难以维持固定面部表情不变，导致动态面部模型的重建效率不佳的技术问题。
2、一方面，本申请提供一种面部模型重建方法，所述方法包括：获取用户面部的多帧原始点云，确定所述多帧原始点云中参考帧的原始点云及非参考帧的原始点云，根据所述多帧原始点云，重建与所述参考帧的原始点云对应的表情状态匹配的第一面部模型，通过将所述第一面部模型对齐至每个非参考帧的原始点云，重建与所述每个非参考帧的原始点云对应的表情状态匹配的第二面部模型。
3、在本申请的一些实施例中，所述多帧原始点云基于对表情变化的所述用户面部进
4、在本申请的一些实施例中，若所述参考帧的原始点云为获取的第一帧原始点云，所述每个非参考帧的原始点云对应的形变点云的生成方法包括：将所述每个非参考帧的原始点云与所述每个非参考帧的原始点云对应的目标点云进行对齐，得到所述每个非参考帧的原始点云对应的形变点云，所述非参考帧的原始点云中的第二帧原始点云对应的目标点云为所述第一帧原始点云，所述非参考帧的原始点云中的第n帧原始点云对应的目标点云通过融合第n-1帧原始点云对应的目标点云与所述第n-1原始点云对应的形变点云得到，其中，3≤n≤m，m表示所述多帧原始点云的数量。
5、在本申请的一些实施例中，若所述参考帧的原始点云为从所述多帧原始点云中选取的任一帧原始点云，所述每个非参考帧的原始点云对应的形变点云的生成方法包括：从所述非参考帧的原始点云中选择原始点云，将所述参考帧的原始点云作为选择的原始点云对应的目标点云，并将选择的原始点云与对应的目标点云进行对齐，得到所述选择的原始点云对应的形变点云，融合所述选择的原始点云对应的形变点云与对应的目标点云，得到第一融合点云，每个第一融合点云作为选择的下一帧原始点云对应的目标点云，重复执行所述每个非参考帧的原始点云对应的形变点云的生成方法，直至所述非参考帧的原始点云中所有的原始点云均被选取，得到所述每个非参考帧的原始点云对应的形变点云。
6、在本申请的一些实施例中，所述每个非参考帧的原始点云包括多个第一坐标点，所述每个非参考帧的原始点云对应的目标点云包括多个第二坐标点，所述每个非参考帧的原始点云与对应的目标点云之间的对齐方法包括：确定每个第一坐标点对应的形变场，所述形变场包括所述每个第一坐标点对应的多个形变控制点，通过对所述多个第一坐标点及所述多个第二坐标点进行稠密配准，确定所述多个第一坐标点与所述多个第二坐标点之间的第一稠密对应关系，所述第一稠密对应关系包括多组点对，其中每组点对包括相互对应的第一坐标点与第二坐标点，根据所述每组点对中的第一坐标点的初始坐标、所述每组点对中的第二坐标点的初始坐标及所述每组点对中的第一坐标点对应的多个形变控制点，以及，每个形变控制点及与所述每个形变控制点相邻的形变控制点，确定每个形变控制点的目标形变参数，根据所述每个第一坐标点的初始坐标及所述每个第一坐标点对应的多个形变控制点的目标形变参数，确定所述每个第一坐标点的目标坐标，基于所述多个第一坐标点及所述每个第一坐标点的目标坐标，确定所述每个非参考帧的原始点云对应的形变点云。
7、在本申请的一些实施例中，所述每个形变控制点的目标形变参数的确定方法包括：执行对所述每个形变控制点的初始形变参数的求解流程包括：根据所述每组点对中的第一坐标点的初始坐标、所述每组点对中的第二坐标点的初始坐标及所述每组点对中的第一坐标点对应的多个形变控制点，以及，所述每个形变控制点及与所述每个形变控制点相邻的形变控制点，构建关于所述每个形变控制点的初始形变参数的约束函数，通过优化所述约束函数，确定所述每个形变控制点对应的初始形变参数，重复执行所述求解流程，更新所述每个形变控制点的初始形变参数，直至对所述每个形变控制点的初始形变参数的更新次数达到预设次数或所述约束函数的约束残差小于或等于预设阈值，停止执行所述求解流程，将更新后的初始形变参数确定为所述每个形变控制点的目标形变参数。
8、在本申请的一些实施例中，所述通过将所述第一面部模型对齐至每个非参考帧的原始点云，重建与所述每个非参考帧的原始点云对应的表情状态匹配的第二面部模型包括：根据所述第一稠密对应关系对所述第一面部模型与所述每个非参考帧的原始点云进行稠密配准，确定所述第一面部模型与所述每个非参考帧的原始点云之间的第二稠密对应关系，根据所述第二稠密对应关系，将所述第一面部模型与所述每个非参考帧的原始点云进行对齐，得到与所述每个非参考帧的原始点云对应的表情状态匹配的第二面部模型。
9、在本申请的一些实施例中，所述根据所述多帧原始点云，重建与所述参考帧的原始点云对应的表情状态匹配的第一面部模型包括：融合所述多帧形变点云，得到第二融合点云，利用预设重建算法基于所述第二融合点云及所述参考帧的原始点云，重建所述第一面部模型。
10、在本申请的一些实施例中，所述多帧原始点云基于对表情固定及表情变化的所述用户面部进行扫描获得，所述参考帧的原始点云在所述用户面部的表情状态保持固定的情况下获得，所述非参考帧的原始点云在所述用户面部的表情状态发生动态变化的情况下获得，所述第一面部模型根据所述参考帧的原始点云进行重建得到。
11、在本申请的一些实施例中，所述方法还包括：若检测到所述用户面部的表情状态发生变化，获取所述用户面部的点云数据，根据所述点云数据，驱动目标模型从对应的表情状态变换至所述点云数据对应的表情状态，所述目标模型包括所述本文档来自技高网...
【技术保护点】
1.一种面部模型重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的面部模型重建方法，其特征在于，所述多帧原始点云基于对表情变化的所述用户面部进行扫描获得，若在获取所述多帧原始点云的过程中确定所述参考帧的原始点云及所述非参考帧的原始点云，则所述参考帧的原始点云为获取的第一帧原始点云，或者，若在获取所述多帧原始点云之后确定所述参考帧的原始点云及所述非参考帧的原始点云，则所述参考帧的原始点云为从所述多帧原始点云中选取的任一帧原始点云，所述非参考帧的原始点云为所述多帧原始点云中除了所述参考帧的原始点云之外的其他原始点云，所述第一面部模型根据所述参考帧的原始点云及所述每个非参考帧的原始点云对应的形变点云进行重建得到，其中所述非参考帧的原始点云对应的多帧形变点云具有与所述参考帧的原始点云相同的形态。
3.如权利要求2所述的面部模型重建方法，其特征在于，若所述参考帧的原始点云为获取的第一帧原始点云，所述每个非参考帧的原始点云对应的形变点云的生成方法包括：
4.如权利要求2所述的面部模型重建方法，其特征在于，若所述参考帧的原始点云为从所述多帧原始点云
5.如权利要求3或4所述的面部模型重建方法，其特征在于，所述每个非参考帧的原始点云包括多个第一坐标点，所述每个非参考帧的原始点云对应的目标点云包括多个第二坐标点，所述每个非参考帧的原始点云与对应的目标点云之间的对齐方法包括：
6.如权利要求5所述的面部模型重建方法，其特征在于，所述每个形变控制点的目标形变参数的确定方法包括：
7.如权利要求5所述的面部模型重建方法，其特征在于，所述通过将所述第一面部模型对齐至每个非参考帧的原始点云，重建与所述每个非参考帧的原始点云对应的表情状态匹配的第二面部模型包括：
8.如权利要求2所述的面部模型重建方法，其特征在于，所述根据所述多帧原始点云，重建与所述参考帧的原始点云对应的表情状态匹配的第一面部模型包括：
9.如权利要求1所述的面部模型重建方法，其特征在于，所述多帧原始点云基于对表情固定及表情变化的所述用户面部进行扫描获得，所述参考帧的原始点云在所述用户面部的表情状态保持固定的情况下获得，所述非参考帧的原始点云在所述用户面部的表情状态发生动态变化的情况下获得，所述第一面部模型根据所述参考帧的原始点云进行重建得到。
10.如权利要求1所述的面部模型重建方法，其特征在于，所述方法还包括：
11.一种面部模型重建装置，其特征在于，所述装置包括：
12.一种电子设备，其特征在于，所述电子设备包括：
13.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行时实现如权利要求1至10中任意一项所述的面部模型重建方法。
...【技术特征摘要】
1.一种面部模型重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的面部模型重建方法，其特征在于，所述多帧原始点云基于对表情变化的所述用户面部进行扫描获得，若在获取所述多帧原始点云的过程中确定所述参考帧的原始点云及所述非参考帧的原始点云，则所述参考帧的原始点云为获取的第一帧原始点云，或者，若在获取所述多帧原始点云之后确定所述参考帧的原始点云及所述非参考帧的原始点云，则所述参考帧的原始点云为从所述多帧原始点云中选取的任一帧原始点云，所述非参考帧的原始点云为所述多帧原始点云中除了所述参考帧的原始点云之外的其他原始点云，所述第一面部模型根据所述参考帧的原始点云及所述每个非参考帧的原始点云对应的形变点云进行重建得到，其中所述非参考帧的原始点云对应的多帧形变点云具有与所述参考帧的原始点云相同的形态。
3.如权利要求2所述的面部模型重建方法，其特征在于，若所述参考帧的原始点云为获取的第一帧原始点云，所述每个非参考帧的原始点云对应的形变点云的生成方法包括：
4.如权利要求2所述的面部模型重建方法，其特征在于，若所述参考帧的原始点云为从所述多帧原始点云中选取的任一帧原始点云，所述每个非参考帧的原始点云对应的形变点云的生成方法包括：
5.如权利要求3或4所述的面部模型重建方法，其特征在于，所述每个非参考帧的原始点云包括多个第一坐标点，所述每个非参考帧的原始点云对应的目标点云包括多个第二坐标点，所述每个...
【专利技术属性】
技术研发人员：赵壮壮，江腾飞，李泽学，林忠威，张健，
申请(专利权)人：先临三维科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。