一种基于FPGA硬件加速器的三维重建方法及系统技术方案

本发明专利技术公开了一种基于FPGA硬件加速器的三维重建方法及系统，该方法包括：获取图像观测数据并进行预处理，得到预处理数据；基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵；根据全局旋转矩阵完成三维重建。该系统包括：数据预处理模块、旋转优化模块和重建模块。通过使用本发明专利技术，能够优化三维重建中相机的旋转参数，并提高运算效率和降低功耗。本发明专利技术作为一种基于FPGA硬件加速器的三维重建方法及系统，可广泛应用于三维重建领域。领域。领域。

【技术实现步骤摘要】
一种基于FPGA硬件加速器的三维重建方法及系统


[0001]本专利技术涉及三维重建领域，尤其涉及一种基于FPGA硬件加速器的三维重建方法及系统。

技术介绍

[0002]三维重建技术是利用相机或其他测量方式获取真实世界三维物体的二维数据，接着利用图像处理技术基于二维数据还原出物体的三维特征并重建物体的三维立体状态。随着计算机视觉、信息科学和医学领域的快速发展，目前三维重建技术在无人驾驶、虚拟现实以及医学治疗诊断疾病等领域使用得越来越广泛，逐渐成为研究热点。
[0003]三维重建技术中最重要的内容就是运动恢复结构(Structure From Motion,SFM)。实现过程中的全局旋转估计的结果精度会影响后续步骤的结果质量。但是目前一方面使用相对位姿估计仅局限于两个视图，另一方面旋转平均没有直接利用图像的测量结果，这就限制了旋转估计的最优实现过程。再者，光束平差法依赖于并行处理或分布式计算，常用的软件算法实现过程用高功耗换取高性能，这样带来的功耗和延迟可能非常大，这成为了优化实现的瓶颈。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的是提供一种基于FPGA硬件加速器的三维重建方法及系统，能够优化三维重建中相机的旋转参数，并提高运算效率和降低功耗。
[0005]本专利技术所采用的第一技术方案是：一种基于FPGA硬件加速器的三维重建方法，包括以下步骤：
[0006]S1、获取图像观测数据并进行预处理，得到预处理数据；
[0007]S2、基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵；
[0008]S3、根据全局旋转矩阵完成三维重建。
[0009]进一步，所述获取图像观测数据并进行预处理，得到预处理数据这一步骤，其具体包括：
[0010]S11、获取图像观测数据并对图像观测数据进行分类转换，区分得到各类别数据；
[0011]S12、对各类别数据分配数据内存并存储至FPGA硬件加速器的片上双口RAM；
[0012]S13、完成代价函数中与旋转参数无关的计算，包括每两个相机共同观测到的点的归一化坐标在任意两个坐标轴上的投影乘积之和；
[0013]S14、得到预处理数据。
[0014]进一步，所述基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵这一步骤，其具体包括：
[0015]S21、将预处理数据中的罗德里格斯向量转换为旋转矩阵；
[0016]S22、基于预处理数据，结合旋转矩阵计算最小特征值，得到代价函数值；
[0017]S23、基于解析微分计算方法，计算雅可比矩阵；
[0018]S24、根据雅可比矩阵构建参数方程并基于矩阵求逆方法求解，得到罗德里格斯旋转向量的变化量；
[0019]S25、判断代价函数值满足迭代条件，接收罗德里格斯旋转向量的变化量并返回步骤S21，判断到代价函数值不满足迭代条件，更新信任域相关参数；
[0020]S26、循环步骤S21
‑
S25直至判断到超出迭代条件，以当前迭代次数计算得到的旋转矩阵为全局旋转矩阵。
[0021]进一步，所述旋转矩阵的计算公式如下：
[0022][0023]上式中，R表示旋转矩阵，r＝[r1,r2,r3]T
表示罗德里格斯向量，
·
T
表示旋转向量的转置，θ表示旋转角，r1,r2,r3表示旋转向量分别在相互正交的x轴、y轴、z轴上的投影。
[0024]进一步，所述基于预处理数据，结合旋转矩阵计算最小特征值，得到代价函数值这一步骤，其具体包括：
[0025]基于预处理数据，结合旋转矩阵计算对称矩阵；
[0026]根据对称矩阵中的元素计算其余相关函数；
[0027]根据其余相关函数求解特征值；
[0028]对特征值进行累计求和，得到代价函数值。
[0029]进一步，所述对称矩阵的计算公式如下：
[0030][0031]上式中，n表示每两个相机之间共同观测到的点数，i表示第i个点，f
i
表示该点在其中一个相机的归一化相机坐标，R表示旋转矩阵，f'
i
表示该点在另一个相机的归一化相机坐标，
·
T
表示矩阵的转置。
[0032]进一步，所述雅可比矩阵的计算公式如下：
[0033][0034]上式中，f
x
和f
y
表示由线性透视规律得到的相机焦距，X'、Y'和Z'表示三维点在相机坐标系下的三维坐标。
[0035]进一步，所述参数方程表示如下：
[0036](J
T
J+μI)Δp＝g
[0037]上式中，J表示雅可比矩阵，μ表示信任域半径，I表示单位矩阵，Δp表示旋转向量的变化量，g表示梯度。
[0038]进一步，所述矩阵求逆方法具体包括：
[0039]根据参数方程计算伴随矩阵；
[0040]根据伴随矩阵中的元素计算分块矩阵的行列式并求倒数，得到分块矩阵的行列式的倒数；
[0041]将伴随矩阵和分块矩阵的行列式的倒数相乘，得到对应的逆矩阵。
[0042]本专利技术所采用的第二技术方案是：一种基于FPGA硬件加速器的三维重建系统，包括：
[0043]数据预处理模块，用于获取图像观测数据并进行预处理，得到预处理数据；
[0044]旋转优化模块，基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵；
[0045]重建模块，用于根据全局旋转矩阵完成三维重建。
[0046]本专利技术方法及系统的有益效果是：本专利技术基于FPGA的并行计算，对三维重建全局旋转估计后对其结果进行进一步优化，实现了精度的提高，另外，本专利技术较比单纯的软件实现有着功耗更低、运算速度更快的效果。
附图说明
[0047]图1是本专利技术一种基于FPGA硬件加速器的三维重建方法的步骤流程图；
[0048]图2是本专利技术具体实施例旋转矩阵计算的结构示意图；
[0049]图3是本专利技术具体实施例双视图极线约束的示意图；
[0050]图4是本专利技术具体实施例计算代价函数的架构实现流程图；
[0051]图5是本专利技术具体实施例解参数方程中矩阵求逆的结构示意图；
[0052]图6是本专利技术具体实施例旋转优化迭代示意图；
[0053]图7是本专利技术的旋转优化方法和旋转平均后全局旋转估计值的相对误差对比图；
[0054]图8是本专利技术一种基于FPGA硬件加速器的三维重建系统的结构框图。
具体实施方式
[0055]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0056]如图1所示，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA硬件加速器的三维重建方法，其特征在于，包括以下步骤：S1、获取图像观测数据并进行预处理，得到预处理数据；S2、基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵；S3、根据全局旋转矩阵完成三维重建。2.根据权利要求1所述一种基于FPGA硬件加速器的三维重建方法，其特征在于，所述获取图像观测数据并进行预处理，得到预处理数据这一步骤，其具体包括：S11、获取图像观测数据并对图像观测数据进行分类转换，区分得到各类别数据；S12、对各类别数据分配数据内存并存储至FPGA硬件加速器的片上双口RAM；S13、完成代价函数中与旋转参数无关的计算，包括每两个相机共同观测到的点的归一化坐标在任意两个坐标轴上的投影乘积之和；S14、得到预处理数据。3.根据权利要求2所述一种基于FPGA硬件加速器的三维重建方法，其特征在于，所述基于FPGA硬件加速器，对预处理数据进行旋转优化，估计得到全局旋转矩阵这一步骤，其具体包括：S21、将预处理数据中的罗德里格斯向量转换为旋转矩阵；S22、基于预处理数据，结合旋转矩阵计算最小特征值，得到代价函数值；S23、基于解析微分计算方法，计算雅可比矩阵；S24、根据雅可比矩阵构建参数方程并基于矩阵求逆方法求解，得到罗德里格斯旋转向量的变化量；S25、判断到代价函数值满足迭代条件，接收罗德里格斯旋转向量的变化量并返回步骤S21，判断到代价函数值不满足迭代条件，更新信任域相关参数；S26、循环步骤S21
‑
S25直至判断到超出迭代条件，以当前迭代次数计算得到的旋转矩阵为全局旋转矩阵。4.根据权利要求3所述一种基于FPGA硬件加速器的三维重建方法，其特征在于，所述旋转矩阵的计算公式如下：转矩阵的计算公式如下：上式中，R表示旋转矩阵，r＝[r1,r2,r3]
T
表示罗德里格斯向量，
·
T
表示旋转向量的转置，θ表示旋转角，r1,r2,r3表示旋转向量分别在相互正交的x轴、y轴、z轴上的投影。5.根...

【专利技术属性】
技术研发人员：李泽铖，陈刚，陈翔，
申请(专利权)人：中山大学，
类型：发明
国别省市：