【技术实现步骤摘要】
本专利技术涉及一种基于高斯过程模型的多光谱光度立体三维重建方法，属于三维重建。
技术介绍
1、随着数字化技术的快速发展，三维重建技术在计算机视觉、医学影像等领域逐渐成为研究热点。光度立体技术作为一种非接触式的三维重建方法，具有高分辨率和高精度的特点；多光谱成像技术能够获取物体在不同波段下的反射光谱信息，从而提供更丰富的颜色和材质信息，通过将多光谱成像与光度立体相结合，实现对复杂表面纹理和细节更准确地捕捉，进一步提升三维重建的精度和真实感。但由于光度立体的原理限制，重建中会有各种形式的累计误差产生，在结果上反映为部分区域的低频失真现象，这对于大部分场景都是不能满足要求的。
2、光场相机是一种先进的摄像技术，可以捕获关于光线方向和强度的额外信息。相较于传统相机只记录光线经过镜头位置和颜色的能力，光场相机可以记录光线在这些位置上的方向和强度，因此提供更加丰富和全面的光线信息，但由于微透镜阵列的限制，导致分辨率下降，影响部分高频细节效果。
3、高斯过程(gaussian process，gp)模型是一种非参数的贝叶斯统计推理模型，是通过均值和协方差函数对各种复杂曲面建模，将测量误差纳入建模过程，并为构建的模型分配可信度。
技术实现思路
1、本专利技术提出的是一种基于高斯过程模型的多光谱光度立体三维重建方法，其目的在于将光场相机重建与光度立体法通过高斯过程模型结合，充分发挥二者各自的优势，通过具有微透镜阵列的光场相机提高光场信息的利用率，再设计算法建立高斯过程模型对拍
2、本专利技术的技术解决方案：
3、一种基于高斯过程模型的多光谱光度立体三维重建方法，包括以下步骤：
4、1)多光谱光度立体成像系统的搭建；
5、2)光场相机拍摄图片；
6、3)图片进行通道分离后，作为输入进行深度估计，得到重建出的法向量和多光谱光度立体重建深度图；
7、4)光场相机三维重建，得到光场相机深度图；
8、5)基于高斯过程模型，将所述多光谱光度立体深度图和所述光场相机深度图融合。
9、进一步地，多光谱光度立体成像系统包括遮光罩、滑轨、光源、光场相机；滑轨设置在遮光罩上；光源为rgb三色光源，安装在滑轨上；采集相机安装在遮光罩顶部。
10、进一步地，光场相机在成像透镜和传感器之间设置微透镜阵列，微透镜阵列放置在光场相机主镜头成像平面上；微透镜阵列与传感器平行排列，间距等于微透镜阵列焦距；微透镜阵列采用六边形排列，包含15*15个微透镜，一次拍摄解调225个视角图片。
11、进一步地，步骤2)中光场相机拍摄图片后，进行图像解码，将可重聚焦的图片导出并解调，分别进行步骤3)多光谱光度立体重建和步骤4)光场相机三维重建。
12、进一步地，步骤3)中所述重建法向量的具体步骤为：
13、输入中心视角图片，将被测物体假设为朗伯体，光源假设为平行光入射，根据朗伯体反射模型，得到以下公式：
14、m＝el·ρn
15、其中，m为像素值，e为光源强度，l为光源入射方向，ρ为物体表面的反射率，n为物体表面的法向量；所述光源入射方向通过标定方式获取；
16、忽略未知的缩放以及假设单位强度的光源强度后，得到简化的郎伯成像模型：
17、ρn＝l-1·m
18、其中，n具有单位长度且范数为1，能够同时估计表面法线和反照率；当采用t个光源操作时，光源方向矩阵不再是一个方阵，求解的线性方程组也变成超定的；物体表面的法向量n用l的伪逆可以得到最小二乘意义的近似解：
19、n＝(ltl)-1ltm。
20、进一步地，步骤3)中所述多光谱光度立体重建深度图的估计方法具体为设所述物体表面的法向量n与v1、v2正交，将该表面与图像平面(i,j)处的像素相对应，得到下列关系：
21、v1＝[i+1 j zi+1,j]t-[i j zi，j]t
22、v2＝[i j+1 zi,j+1]t-[i j zi，j]t
23、n·v1＝0
24、n·v2＝0
25、整理后可得：
26、
27、将其写成稀疏矩阵的形式进行求解，得到每个像素点对应的深度值z。
28、进一步地，步骤4)中光场相机三维重建，包括以下步骤：s41：通过对所述光场相机自带文件进行处理，进行相机标定；s42：对子孔径图像分析，进行畸变矫正；s43：采用基于相移的亚像素位移法进行深度图估计，同时设置代价函数进行优化，以及进行后续的视察优化和增强，得到对应的深度图。
29、进一步地，步骤5)中高斯过程，包括以下步骤：s51：建立“替代模型”式，并选择合适的均值函数和协方差函数，根据核函数设置替代初始超参数；s52：输入所述多光谱光度立体深度图，根据其目标函数，采用梯度法得到最优超参数，确定后验模型；s53：建立“校正模型”式，并选择合适的缩放因子和移动因子，设置校正初始超参数；s54：输入所述光场相机深度图，计算校正初始超参数；s55：输入需要预测的位置，获取最终预测值。
30、本专利技术的有益效果：
31、1)本专利技术装置简易，成本低廉，同时将光场优势引入光度立体领域，弥补其不足；
32、2)基于混合重建的思想，提高了光场信息的利用率，并通过算法对拍摄所得的图片进行处理，能获得良好的低频重建效果，为光度立体三维重建技术低频部分失真问题，提供了高鲁棒性的解决方案。
本文档来自技高网...【技术保护点】
1.一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于所述多光谱光度立体成像系统包括遮光罩、滑轨、光源、光场相机；所述滑轨设置在所述遮光罩上；所述光源为RGB三色光源，安装在所述滑轨上；所述采集相机安装在遮光罩顶部，所述光场相机在成像透镜和图像传感器之间设置微透镜阵列。
3.根据权利要求2所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于所述微透镜阵列放置在所述光场相机主镜头成像平面上；
4.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于步骤2)中光场相机拍摄图片后，进行图像解码，将可重聚焦的图片导出并解调，分别进行多光谱光度立体重建和光场相机三维重建。
5.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于步骤3)中所述重建法向量的具体步骤为：
6.根据权利要求5所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在
7.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于步骤4)所述光场相机三维重建，包括以下步骤：
8.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于步骤5)中所述高斯过程建模的具体步骤为：
9.根据权利要求8所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于由所述多光谱光度立体深度图建立模型：
10.根据权利要求8所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于所述“校正模型”表达式为：
...【技术特征摘要】
1.一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于所述多光谱光度立体成像系统包括遮光罩、滑轨、光源、光场相机；所述滑轨设置在所述遮光罩上；所述光源为rgb三色光源，安装在所述滑轨上；所述采集相机安装在遮光罩顶部，所述光场相机在成像透镜和图像传感器之间设置微透镜阵列。
3.根据权利要求2所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于所述微透镜阵列放置在所述光场相机主镜头成像平面上；
4.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方法，其特征在于步骤2)中光场相机拍摄图片后，进行图像解码，将可重聚焦的图片导出并解调，分别进行多光谱光度立体重建和光场相机三维重建。
5.根据权利要求1所述的一种基于高斯过程模型的多光谱光度立体三维重建方...
【专利技术属性】
技术研发人员：赵星，黎达，李航，南宫恩，魏巍，
申请(专利权)人：熙瞳天津光电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。