一种结合身份识别的高精度全息人体重建方法技术

本发明专利技术公开了一种结合身份识别的高精度全息人体重建方法，设有视角互不相同的多个深度、彩色相机；对所有相机进行标定；由标定后的相机采集场景中的人体图像数据并提取骨骼关节点数据；将多个彩色、深度相机对应提取的多套骨骼关节点数据，各整合成一套骨骼关节点彩色、深度整合数据；用深度整合数据修正彩色整合数据得到修正后的骨骼关节点数据；建立神经网络模型对彩色相机采集的图像数据进行特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。本发明专利技术能结合姿态形貌数据进行全息重建。貌数据进行全息重建。貌数据进行全息重建。

【技术实现步骤摘要】
一种结合身份识别的高精度全息人体重建方法


[0001]本专利技术涉及涉及深度学习、特征向量提取、人体姿态估计、人体姿态重建、增强现实等领域，尤其涉及到一种结合身份识别的高精度全息人体重建方法。

技术介绍

[0002]目前，本专利技术来自于对室内和室外多人场景的全息人体姿态、形貌重建问题。室内和室外多人场景的全息人体姿态、形貌重建以及人员的特异性识别对于远程可视化交互、全息通讯、公共场合的监控预警等工作都具有重要作用。人员特征矩阵的提取、人体姿态估计及重建是远程可视化交互、全息通信、公共场合的监控预警等工作的核心步骤，要获得多人场景内的人物行为状态，对其关节点位置的获取及分析是不可或缺的一部分，也是至关重要的一部分。同样的，对人员提取特征矩阵是进行人员的特异性识别的核心部分。但当前人体姿态分析与估计是没法做到人员特异性识别的，并且仅利用普通的彩色相机进行人体姿态估计，在估计过程中并不能很好的处理遮挡等问题。
[0003]众所周知，重建人体姿态的核心问题是人体的遮挡问题，但目前的人体姿态重建方法基本都是使用单个彩色相机或多个彩色相机。这两种方法都无法很好的解决关节点的遮挡问题，虽然多个彩色相机相比单个彩色相机来说在处理遮挡上有明显的改善，但与真实的情况还是有一定的差别。本专利技术从深度相机入手，使用深度相机来辅助优化单从彩色相机下得到的人体关节点数据。通过引入深度数据，系统可以比较准确地计算人和物体之间的空间距离，克服了在下彩色相机下仅仅通过图像的语义分析来判断哪些物体离我们比较远，哪些比较近。由于采用深度相机的原因，所重建的人体模型与物体之间的距离可以尽可能的还原原有距离，可以做到精准的通信交互。
[0004]在目前的所有解决方案中，全部都不支持人员识别功能，不能特异性的识别出人员来，也就是说不具有记忆性。在人员离开场景一段时间重新进入场景时，它们的方案并不能识别该人员曾经进入过该场景，这在实际应用场景中是不切实际的。

技术实现思路

[0005]本专利技术为解决公知技术中存在的技术问题而提供一种结合身份识别的高精度全息人体重建方法。
[0006]本专利技术为解决公知技术中存在的技术问题所采取的技术方案是：一种结合身份识别的高精度全息人体重建方法，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关
节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；
[0007]建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；
[0008]不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。
[0009]进一步地，对深度相机和彩色相机进行标定的方法包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。
[0010]进一步地，针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。
[0011]进一步地，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法包括：
[0012]根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：
[0013][0014]其中，n为彩色相机编号，i为关节点编号；f
n
(i)为对应第n个彩色相机视角的关节点i的置信度；为对应第n个彩色相机视角的关节点i的坐标；为关节点i彩色整合数据。
[0015]进一步地，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据的方法包括：
[0016]根据多个深度相机提取的骨骼关节点数据，计算每个深度相机的关节点i的坐标，并利用下式将多个深度相机的关节点i的坐标数据整合为一个关节点i深度整合数据：
[0017][0018]其中，m为深度相机编号，i为关节点编号；g
m
(i)为对应第m个深度相机视角的关节点i的置信度；为对应第m个深度相机视角的关节点i的坐标；为关节点i深度整合数据。
[0019]进一步地，用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据的方法包括：
[0020]设J
RGB
(i)为由多个彩色相机提取并整合后的人体关节点i的坐标数据；J
Depth
(i)为由多个深度相机提取并整合后的人体关节点i的坐标数据；设ω
RGB
为彩色相机的人体关节
点坐标数据的权重参数；ω
Depth
为深度相机的人体关节点坐标数据的权重参数；设J
final
(i)为修正后的人体关节点i数据，J
final
(i)采用如下公式进行计算：
[0021]J
final
(i)＝ω
RGB
·
J
RGB
(i)+ω
Depth
·
J
Depth
(i)。
[0022]进一步地，采用增强现实方法对全息人体模型进行重建。
[0023]进一步地，用于训练神经网络模型的训练数据包括：采用设置的彩色相机采集的人体图像数据以及公共数据集。
[0024]进一步地，采用神经网络模型对场景中的所有目标人体进行特征向量的提取并存储在本地的数据库中；当有人员从外部进入场景时，首先提取该人员的特征向量，然后将该人员的特征向量与数据库中已存储的特征向量相比较；若差异小于所设定的阈值，则认为该人员之前进入过场景，并把之前的人员身份编号赋给该人员；反之，则认为是新人员进入场景，赋予该人员一个全新的人员身份编号，并将该人员的特征向量加入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合身份识别的高精度全息人体重建方法，其特征在于，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。2.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，对深度相机和彩色相机进行标定的方法包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。3.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。4.根据权利要求3所述的结合身份识别的高精度全息人体重建方法，其特征在于，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法包括：根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：其中，n为彩色相机编号，i为关节点编号；f
n
(i)为对应第n个彩色相机视角的关节点i的置信度；为对应第n个彩色相机视角的关节点i的坐标；为关节...

【专利技术属性】
技术研发人员：罗韬，徐晓睿，史再峰，
申请(专利权)人：天津大学，
类型：发明
国别省市：