【技术实现步骤摘要】
本专利技术涉及相机标定，尤其涉及一种基于人体骨架点检测的相机外部参数自标定方法。
技术介绍
1、相机标定是相机成像的逆向求解，它通过求解相机的内外参建立了三维空间与像素平面之间的对应关系，相机标定是三维重建的必要前提,标定效果直接影响着物体的定位和测量的精度。相机标定的成像模型包括线性模型与非线性模型，一般来说，线性模型计算方便，运算速度快，可以得到解析解，但是很难完整的表达镜头的像差与相机复杂的成像过程，而非线性模型能更好的模拟和补偿各种像差，提高模型的精度，但计算量大，往往需要采用非线性优化，鲁棒性降低。
2、相机标定包括传统的标定方法和自标定方法。传统的标定方法，如张正友提出的一种利用平面模板的标定方法, 只需从不同角度对模板拍摄几幅图像，通过每幅图像的单应矩阵即可计算出相机内参数，并可利用反投影法优化求精。近年来，无需标定物、基于图像序列的自标定方法已成为标定研究的一个重要方向。faugeras, luong 和 maybank 等首先提出了自标定的概念，从射影几何的角度出发证明了每两幅图像间存在着两个形如kruppa方程的一次约束，通过直接求解kruppa方程组可以解出内参数。
3、与传统的标定方法相比，相机自标定的方法具有操作简便、灵活性强、实时在线标定的优点，但是，在相机自标定领域内，还普遍存在着鲁棒性差、精度低，且图像噪声会在无穷远平面处放大的缺点。
技术实现思路
1、本专利技术要解决的技术问题是克服现有技术存在的缺陷，本专利技术提出了一种基
2、为解决上述技术问题，本专利技术采用的技术方案是：一种基于人体骨架点检测的相机外部参数自标定方法，包括如下步骤：
3、s1、由yolov7人体检测模型检测左右两相机拍摄图像，而后截取对应人体区域图像并送入hrnet网络以检测人体骨架关节点；
4、s2、对左右相机的人体骨架关节点进行匹配，具体如下，
5、采用orb图像匹配方法获取左右两相机拍摄图像的投影匹配点，计算透视变换矩阵，
6、经透视变换将检测出的左相机拍摄图片的人体框变换至右相机画面对应像素位置，
7、采用匈牙利算法对从左相机画面透视变换至右边相机画面的人体框，并与右相机拍摄图像的人体框进行匹配，
8、由人体框的匹配关系确定左右两相机拍摄图像对应的人体骨架关节点间的匹配关系；
9、s3、由匹配的人体骨架关节点计算相机本质矩阵，并反解出两相机相对外参；
10、s4、由多帧视频人体骨架关节点匹配优化相机外参。
11、进一步地，所述步骤s2中对左右相机的人体骨架关节点进行匹配的具体计算步骤下，
12、由orb图像匹配方法获取左相机拍摄图像上的投影点像素值分别为，对应在右相机拍摄图像上的投影匹配点像素值分别为，i为投影点数量，由透视变换原理，
13、
14、其中，a为8自由度透视变换矩阵，为待求解的透视变换矩阵参数，代入数量大于等于4的不共面的匹配点（）,求解透视变换矩阵a，
15、检测出的左相机画面的人体框为为左相机画面人体框左上角坐标，为左相机画面人体框右下角坐标，透视变换至右相机画面后为,对应的j个人体骨架关节点经透视变换至右相机画面的像素位置为,变换后的人体骨架关节点为,检测出的右相机画面的人体框为为右相机画面人体框左上角坐标，为右相机画面人体框右下角坐标,对应的j个人体骨架关节点为,人体骨架关节点为,k为检测出的人体框数量,采用匈牙利算法将与进行匹配，每一个人体框对应着j个人体骨架关节点，由人体框的匹配关系确定左右两相机拍摄图像对应的人体骨架关节点间的匹配关系，其中，匈牙利算法进行匹配时，如果两个框之间距离超过一定阈值，这两个框无法建立匹配，两个框的距离采用框对应的人体骨架关节点间的欧氏距离,计算方式如下，
16、
17、其中，为要匹配的左相机画面人体框对应的第j个人体骨架关节点经透射至右相机画面的像素坐标，为要匹配的右相机画面人体框对应的第j个人体骨架关节点像素坐标，人体框匈牙利算法匹配过程如下，
18、
19、
20、其中，为的一种可能的匹配结果，为的对应的人体骨架关节点间的欧氏距离，表示匈牙利算法匹配求解过程，为最优匹配结果。
21、进一步地，所述步骤s3中，本质矩阵具体计算步骤如下，
22、、，定义空间点p在左相机坐标系的坐标为p，r、t为右相机坐标系相对于左相机坐标系的相对旋转平移矩阵，则空间点p在右相机坐标系中的坐标为rp+t，其在左右相机中的投影点分别为，其相对于左右相机的深度为，空间点取齐次，基于相机坐标系到像素坐标系的转换公式，可得
23、
24、归一化到z=0平面，可得
25、
26、令，
27、
28、则，
29、
30、叉乘等价于用反对称矩阵来点乘,为t反对称矩阵，为的转置，则
31、
32、则本质矩阵，求取本质矩阵奇异值为，svd分解得出r和t。
33、进一步地，所述svd分解具体步骤如下，
34、定义本质矩阵svd分解为，则存在4种可能的r、t组合，
35、。
36、进一步地，定义第一相机等时间间隔连续拍摄的n张图片集为、第二相机可能与第一相机中的第n张图片是同一时刻拍摄的m张图片集为，为第一相机中的第n张图片，为第二相机可能与是同一时刻拍摄的第m张图片中检测到的k个人的人体骨架关节点集为，中第k个人的j个骨架关节点为,中第k个人的第j个骨架关节点像素坐标为,中检测到的k个人的人体骨架关节点集，中第k个人的j个骨架关节点为,中第k个人的第j个骨架关节点像素坐标为,根据投影关系，
37、
38、
39、第一相机与第二相机视频帧人体骨架关节点最优匹配，
40、
41、
42、其中，、分别为第一相机以及第二相机的内参,分别为第二相机和第一相机的相对旋转平移矩阵，为第k个人第j个人体骨架关节点对应的三维点，为在右相机图片中匹配到第张图片，，表示寻找第一相机与第二相机视频帧人体骨架关节点最优匹配过程，表示两张图的匹配度。
43、进一步地，所述步骤s3中，联合优化相机外参公式如下，
44、
45、其中，为在右相机图片中匹配度最高的关节点坐标。
46、进一步地所述步骤s4多帧视频人体骨架关节点匹配优化相机外参的具体步骤如下，
47、按等时间间隔连续取左相机拍摄的图片，同时取右相机可能在同一时刻下拍摄的图片集；
48、采用人体检测模型和骨架点检测模型提取左右相机拍摄图片集中图片本文档来自技高网...
【技术保护点】
1.一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤S2中对左右相机的人体骨架关节点进行匹配的具体计算步骤下，
3.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤S3中，本质矩阵具体计算步骤如下，
4.根据权利要求3所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述SVD分解具体步骤如下，
5.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤S4中，对左相机拍摄的连续图片最优匹配具体步骤如下，
6.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤S3中，联合优化相机外参公式如下，
7.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤S4多帧视频人体骨架关节点匹配优化相机外参的具体步骤如下，
【技术特征摘要】
1.一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤s2中对左右相机的人体骨架关节点进行匹配的具体计算步骤下，
3.根据权利要求1所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述步骤s3中，本质矩阵具体计算步骤如下，
4.根据权利要求3所述的一种基于人体骨架点检测的相机外部参数自标定方法，其特征在于：所述s...
【专利技术属性】
技术研发人员：严子曦，朱兆喆，朱吕甫，
申请(专利权)人：安徽炬视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。