一种大场景下基于人体姿态估计的相机标定方法技术

本发明专利技术公开了一种大场景下基于人体姿态估计的相机标定方法，该方法包括步骤1：得到各相机的初始相机参数；步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；步骤3：预测数据集中的人体关节点信息；步骤4：将多视角下的人体二维关节点利用初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化；步骤5：将关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，直到均方误差达到设定的阈值。本发明专利技术的方法能够实现更加精确的相机标定。

【技术实现步骤摘要】
一种大场景下基于人体姿态估计的相机标定方法
本专利技术涉及计算机视觉、相机标定及三维视觉领域，特别涉及一种大场景下基于人体姿态估计的相机标定方法。
技术介绍
多视角的相机标定是计算机三维视觉领域的基石，也是三维视觉领域的一个研究热点。计算机视觉领域的基本任务之一是从二维图像信息出发计算三维空间位置信息，而三维位置信息与图片像素点之间的相互关系就是由相机参数决定的。相机参数的精度以及算法稳定性直接影响后续工作结果的准确性，因此提高相机标定的精度是计算机视觉领域的重点所在。传统的相机标定算法基于图像特征提取来进行相机参数的计算，如通过对棋盘格或者标定杆这类标定物进行图像特征的提取，这种方法在小场景下可以取得较好的效果并得到了广泛的应用。但当移植到大场景下时，由于环境因素的影响导致图像特征不明显，此时并不能够很好进行图像特征的提取，因此无法得到较为准确的相机参数，而高级语义特征则可以很好的解决这个问题。利用卷积神经网络对低级视觉特征抽取，对其进行分析得到高级语义特征可以降低环境因素的影响，从而适应大场景下的相机标定算法。基于此思想，我们采用人作为标定物，利用人的关节点作为语义特征进行相机标定。但利用人作为标定物存在一些难点。关节点检测是一个比较困难的事情，同时利用多人进行相机参数标定存在遮挡问题以及关节点匹配的问题。但近年来由于深度学习算法的发展，人体姿态估计领域取得了快速的发展，人体关节点检测模型不断迭代更新，其中卡耐基梅隆大学的人体姿态识别库Openpose可以很好的实现多人人体关节点检测与匹配，本专利技术在此基础上完成基于人体关节点特征的多视角相机标定方法。
技术实现思路
针对大场景下的相机标定问题，本专利技术基于人体姿态估计提出了一种大场景下基于人体姿态估计的相机标定方法。利用张正友标定法得到初始的标定参数，利用人体姿态估计网络预测各个视角下的人体关节点信息，将多视角下的人体关节点参数协同投射并进行空间点的匹配与归一化，利用LM算法进行非线性二次优化，从而实现更加精确的相机标定。本专利技术采用以下技术方案：一种大场景下基于人体姿态估计的相机标定方法，该方法包括如下步骤：步骤1：初始化阶段：在多视角相机标定环境下摆放棋盘格或者标定杆，利用张正友标定方法得到各相机的初始相机参数；步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；步骤3：利用现有的人体姿态估计模型预测数据集中的人体关节点信息得到多视角下的人体二维关节点；步骤4：将步骤3得到的多视角下的人体二维关节点利用步骤2中初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化得到一个统一的三维空间点；步骤5：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，通过减小均方误差来实现优化相机标定参数的目的；步骤6：重复3-5步骤，利用数据集中采集的多视角多人图片重复进行上述优化过程不断优化相机参数，直到均方误差达到设定的阈值，停止该迭代过程。所述的大场景下基于人体姿态估计的相机标定方法，步骤4的具体方法是：利用初始化的相机参数矩阵M0将得到的多视角下的人体二维关节点进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，投影过程如下：式中：(xi,yi,zi,1)为第i个视角下关节点三维世界坐标，Mi为第i个相机的相机参数矩阵，(ui,vi,1)为第i个视角下关节点原二维像素坐标。将同一个关节点在不同视角中投影得到的三维点进行归一化得到一个平均三维点，方法如下：式中：(xp,yp,zp,1)为统一的关节点三维世界坐标，(xi,yi,zi,1)为第i个视角下关节点三维世界坐标。所述的大场景下基于人体姿态估计的相机标定方法，步骤5的具体方法是：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，投影过程如下：(ui',vi',1)T＝Mi(xp,yp,zp,1)T式中：(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，Mi为第i个相机的相机参数矩阵，(xp,yp,zp,1)为统一的关节点三维世界坐标。均方误差为式中：e为总的均方误差，(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，(ui,vi,1)为第i个视角下关节点原二维像素坐标。利用LM算法对损失函数进行非线性优化，并更新各相机的相机参数。所述的大场景下基于人体姿态估计的相机标定方法，步骤3中所述的人体姿态估计模型使用Openpose模型。有益效果：1、基于大场景的相机标定算法可以很好的对相机标定算法进行推广。2、使用语义特征代替图像特征可以很好的处理大场景下环境因素对图像特征的影响。3、采用LM算法对模型的均方误差进行优化可以达到很好的收敛效果。4、采用人作为标定物十分方便实现，降低相机标定的复杂度。附图说明图1是本专利技术的整体流程图；图2是相机标定系统示意图；图3是多视角Openpose关节点检测示意图，其中图3(a)是八个视角中左下角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(b)是八个视角中左上角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(c)是八个视角中右上角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(d)是八个视角中右下角相机拍摄图片利用Openpose检测的关节点模型示意图。图4是模型损失下降曲线图。具体实施方式下面根据附图详细说明本专利技术的详细实施方式。如图1所示，本专利技术的大场景下基于人体姿态估计的相机标定方法，具体包括如下步骤：步骤1，首先需要搭建一个多视角的相机平台，用于多视角人体数据集的制作以及初始化相机参数使用。多视角的相机平台的搭建可以在户外的空旷场地中，本实施例中在边缘八个方向搭建八个视角的相机系统，具体可参考图2的形式。步骤2，在搭建好的相机系统里，首先摆放一根标定杆，利用张正友的一维标定法，对八个相机进行参数的初始化。本实施例中首先固定标定杆的一端，在杆中选一个到两个端点距离已知的中间点，然后对杆进行旋转并拍摄。利用张正友提出的闭式解形式对八个相机的初始参数进行求解。步骤3，在系统里放置多人，利用相机系统对其进行数据采集。八个相机同时录制一段视频序列，得到的视频序列每隔一段时间采取一帧作为数据集中的一个数据，将每个相机进行编号，同时对每个相机提取的帧进行编号便于后续的处理。步骤4，利用现有的人体姿态估计模型对数据集中的人体关节点进行检测，本实施例中使用Openpose模型，将检测到的关节点图像坐标信息进行存储，对每个人进行编号将检测到的关节点按顺序进行存储。<本文档来自技高网...

【技术保护点】
1.一种大场景下基于人体姿态估计的相机标定方法，其特征在于，该方法包括如下步骤：/n步骤1：初始化阶段：在多视角相机标定环境下摆放棋盘格或者标定杆，利用张正友标定方法得到各相机的初始相机参数；/n步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；/n步骤3：利用现有的人体姿态估计模型预测数据集中的人体关节点信息得到多视角下的人体二维关节点；/n步骤4：将步骤3得到的多视角下的人体二维关节点利用步骤2中初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化得到一个统一的三维空间点；/n步骤5：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，通过减小均方误差来实现优化相机标定参数的目的；/n步骤6：重复3-5步骤，利用数据集中采集的多视角多人图片重复进行上述优化过程不断优化相机参数，直到均方误差达到设定的阈值，停止该迭代过程。/n

【技术特征摘要】
1.一种大场景下基于人体姿态估计的相机标定方法，其特征在于，该方法包括如下步骤：
步骤1：初始化阶段：在多视角相机标定环境下摆放棋盘格或者标定杆，利用张正友标定方法得到各相机的初始相机参数；
步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；
步骤3：利用现有的人体姿态估计模型预测数据集中的人体关节点信息得到多视角下的人体二维关节点；
步骤4：将步骤3得到的多视角下的人体二维关节点利用步骤2中初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化得到一个统一的三维空间点；
步骤5：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，通过减小均方误差来实现优化相机标定参数的目的；
步骤6：重复3-5步骤，利用数据集中采集的多视角多人图片重复进行上述优化过程不断优化相机参数，直到均方误差达到设定的阈值，停止该迭代过程。


2.根据权利要求1所述的大场景下基于人体姿态估计的相机标定方法，其特征在于，步骤4的具体方法是：
利用初始化的相机参数矩阵M0将得到的多视角下的人体二维关节点进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，投影过程如下：

...

【专利技术属性】
技术研发人员：谢艺明，王雁刚，赵允琦，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32