人脸三维点云超分辨率融合方法及应用其的数据处理装置制造方法及图纸

公开了一种人脸三维点云超分辨率融合方法及应用其的数据处理装置。通过人脸检测、人脸姿态校正、点云对准、多视角表面融合四个步骤，无需对各个光照方向进行融合，通过投影到二维平面进行融合的方法，大大提高了效率。由于采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度。同时，由于未直接在三维空间对点云进行插值和滤波，而是先投影到二维平面再进行插值和滤波，大大提高了算法效率。由粗到精的点云对准策略，既可避免陷入局部最优，又可加速收敛速度。

【技术实现步骤摘要】

本专利技术涉及三维图像处理
，具体涉及一种人脸三维点云超分辨率融合方法及应用其的数据处理装置。
技术介绍
随着三维成像技术的日益成熟，实时的三维数据采集成为了现实。由于三维点云保留了深度数据，能够更好地表达和描述现实世界，使得人工智能系统更容易理解现实世界，有望带来机器视觉的根本性突破。由于目前传感器技术的限制，单帧采集的点云密度不够，难以支持对模型细节的描述，同时，单帧点云会包含各类噪声和孔洞等。更重要的是，单帧点云获得的只是模型在某个视角下的深度信息，通常不是完整的模型。因此，将多帧点云数据进行超分辨率融合是三维视觉的基础和关键环节。现有的三维点云超分辨率融合方法需要耗费的内存和计算量大，数据采集时间长，而且对处理设备的软硬件要求高，同时，对于人脸三维点云进行融合后的分辨率难以达到应用的要求。
技术实现思路
有鉴于此，本专利技术提供一种人脸三维点云超分辨率融合方法及应用其的数据处理装置，降低融合的计算量，同时提高融合的效率和点云分辨率，为三维人脸识别提供高分辨率、低噪声、无孔洞的点云数据。第一方面，提供一种人脸三维点云超分辨率融合方法，包括：以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至少包括人的脸部的点云数据；对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多个对应于不同帧的初始人脸三维点云；以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对准操作，所述精对准操作通过以迭代方式对人脸三维点云进行点坐标转换直到人脸三维点云的误差满足预定条件；分别从多个不同视角分别将所有经过精对准操作的人脸三维点云的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云以获得超分辨率人脸三维点云。优选地，以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵包括：根据迭代前的人脸三维点云的点云向量计算均值和协方差矩阵，其中，迭代前的人脸三维点云的点云向量为P＝[P1,P2,...,Pk,...,Pn]，Pk为第k个点的坐标向量，n为人脸三维点云的点数量；对协方差矩阵进行SVD分解获得特征向量组成的矩阵和特征值组成的对角矩阵；基于如下公式进行姿态校正获得迭代后的人脸三维点云的点云向量：P'＝V(P-m)其中，P'为迭代后的人脸三维点云，P为迭代前的人脸三维点云，V为特征向量组成的矩阵，m为所述均值；重复上述迭代步骤直至特征向量组成的矩阵为单位矩阵。优选地，所述粗对准操作包括：以在前帧对应的经过姿态校正的人脸三维点云为参考对象、以在后帧对应的未经过姿态校正的人脸三维点云为调整对象进行特征匹配，获取多个匹配的关键点对；对于每对关键点对计算对应的点变换矩阵；对于每个关键点对的点变换矩阵，计算与其它所有关键点对的点变换矩阵之间的矩阵距离，选取矩阵距离满足门限约束的多个关键点对的点变换矩阵进行最小二乘拟合获取备选点变换矩阵；以每个备选点变换矩阵对调整对象进行点变换并计算对应点数量；选取的对应点对数量最多的备选点变换矩阵作为粗对准变换矩阵。优选地，所述精对准操作包括：以在前帧对应的经过粗对准操作的人脸三维点云作为参考对象，以在后帧对应的经过粗对准操作的人脸三维点云为调整对象，将调整对象投影到参考对象，投影方向为预定的光照方向；对于调整对象的投影点集的一个子集，在参考对象的投影点集中搜索最近点集；根据所述子集和最近点集计算获得精对准变换矩阵；根据精对准变换矩阵对调整对象的所有点进行变换，并计算变换后的点云与参考对象的误差，所述误差为变换后的点到参考点云上包含其投影点的切平面的距离平方和；重复上述迭代步骤直到所述误差小于预定阈值。优选地，所述融合操作包括：将对应视角的可视点集投影到该视角对应的坐标平面；将所述坐标平面的区域栅格化，将所有落入同一栅格内的点合并为一个融合点以获得栅格数据，该融合点垂直于所述坐标平面的坐标为所有落入栅格的点在该方向的坐标的均值；对所述平面内的栅格数据进行插值和滤波；将所述栅格数据映射到三维空间以获得超分辨率融合点云。优选地，所述多个不同视角包括左视角、右视角和前视角。第二方面，提供一种数据处理装置，包括处理器，所述处理器适于执行如上所述的方法。通过人脸检测、人脸姿态校正、点云对准、三视角表面融合四个步骤，无需对各个光照方向进行融合，通过投影到二维平面进行融合的方法，大大提高了效率。由于采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度。同时，由于未直接在三维空间对点云进行插值和滤波，而是先投影到二维平面再进行插值和滤波，大大提高了算法效率。由粗到精的点云对准策略，既可避免陷入局部最优，又可加速收敛速度。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术实施例的人脸三维点云超分辨率融合方法的流程图；图2是本专利技术实施例中进行人脸三维点云超分辨率融合过程中的三维人脸点云的示意图；图3是本专利技术实施例中进行人脸姿态校正的流程图；图4是本专利技术实施例中进行多视角人脸三维点云融合的示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的本文档来自技高网...

【技术保护点】
一种人脸三维点云超分辨率融合方法，包括：以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至少包括人的脸部的点云数据；对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多个对应于不同帧的初始人脸三维点云；以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对准操作，所述精对准操作通过以迭代方式对人脸三维点云进行点坐标转换直到人脸三维点云的误差满足预定条件；分别从多个不同视角分别将所有经过精对准操作的人脸三维点云的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云以获得超分辨率人脸三维点云。

【技术特征摘要】
1.一种人脸三维点云超分辨率融合方法，包括：
以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至
少包括人的脸部的点云数据；
对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多
个对应于不同帧的初始人脸三维点云；
以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代
前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；
对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进
行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得
到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是
指两个数据集中，距离小于2个数据分辨率的点对；
对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对
准操作，所述精对准操作通过以迭代方式对人脸三维点云进行点坐标转
换直到人脸三维点云的误差满足预定条件；
分别从多个不同视角分别将所有经过精对准操作的人脸三维点云
的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作
得到的超分辨率融合点云以获得超分辨率人脸三维点云。
2.根据权利要求1所述的人脸三维点云超分辨率融合方法，其特
征在于，以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次
迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵包括：
根据迭代前的人脸三维点云的点云向量计算均值和协方差矩阵，其
中，迭代前的人脸三维点云的点云向量为P＝[P1,P2,...,Pk,...,Pn]，Pk为第k
个点的坐标向量，n为人脸三维点云的点数量；
对协方差矩阵进行SVD分解获得特征向量组成的矩阵和特征值组
成的对角矩阵；
基于如下公式进行姿态校正获得迭代后的人脸三维点云的点云向
量：
P'＝V(P-m)
其中，P'为迭代后的人脸三维点云，P为迭代前的人脸三维点云，V
为特征向量组成的矩阵，m为所述均值；
重复上述迭代步骤直至特征向量组成的矩阵为单位矩阵。
3.根据权利要求1所述的人脸三维点云超分辨率融合方法，其特
征在于，所述粗对准操作...

【专利技术属性】
技术研发人员：黄志坚，郭裕兰，李洪，
申请(专利权)人：湖南拓视觉信息技术有限公司，
类型：发明
国别省市：湖南;43