一种基于光场相机的三维定位方法技术

本发明专利技术公开了一种基于光场相机的三维定位方法，属于视觉定位领域。本发明专利技术的方法由光场相机拍摄三维物体的光场图像，通过将光场图像转化为多视角子孔径图像，计算相邻视角的视差；建立从空间三维点到传感器光场坐标的映射关系模型，结合多视角视差和映射关系模型的物理意义，建立视差

【技术实现步骤摘要】
一种基于光场相机的三维定位方法


[0001]本专利技术涉及一种基于光场相机的三维定位方法，属于视觉定位领域。

技术介绍

[0002]三维定位技术在人机交互、虚拟现实(Virtual Reality,VR)及增强现实(Augmented Reality，AR)、国防军事及航空航天的发展中起到不可或缺的作用。传统的三维定位方法如GPS、无线传感器网络等需要以目标物体为信号源且定位分辨率取决于传感器的分布密度，无法满足室内以及复杂环境下的全景定位需求。
[0003]机器视觉是智能制造中极为关键的组成部分，基于数字图像的定位方法利用光学成像系统获取目标物体的图像、距离等信息，通过相关算法获得目标物体的外观尺寸、位置坐标、姿态等信息，从而实现智能交互环节，在工业检测，自动驾驶，智慧城市方面有着重要的应用价值。主要的视觉定位方法有学者宋少哲、朱丽君、Foix S等人提出的结构光测量方法(宋少哲,牛金星，张涛.基于结构光的三维测量技术研究[J].河南科技,2019(22):14
‑
16；朱丽君.数字莫尔条纹三维面形测量技术研究[D].济南，山东大学，2016；Foix S,G Alenya,C Torras.Lock
‑
in time
‑
of
‑
flight(ToF)cameras:A survey[J].IEEE Sensors Journal,2011,11(9):1917
‑
1926.)、Hartley R等人提出的单目相机视觉定位方法(Hartley R.Muliple view geometry in computer[M].Cambridge university press.2011.)、Scharstein D等人提出的双目视觉定位方法(Scharstein D,R Szeliski.A Taxonomy and Evaluation of Dense Two
‑
Frame Stereo Correspondence Algorithms[J].Intermational Jourmal of Computer Vision.2002.47(1
‑
3):7
‑
42.)等。
[0004]结构光测量方法使用激光器或者投影装置产生具有一定编码结构特征的结构光，并将结构光投影到待测物体上，而物体表面由于不同深度使得条纹产生形变。通过相机对形变的条纹采集及处理，获得物体的三维结构及姿态信息。单目视觉定位方法通过相机对物体进行拍摄，然后通过提取物体上的特征点，根据特征点在不同坐标系下的坐标的分布及相机模型进行计算定位。双目视觉需要先对两个相机进行双目标定，计算得到相应内参及两相机之间的位置关系，然后根据左右相机图像上对应特征点对进行立体匹配，然后计算视差，利用多点对计算获取物体位姿信息。
[0005]然而上述方法需要依赖复杂的光学元器件或者精密的机械位移以完成对目标物体深度信息的准确测量；同时双目定位方法由于多视角信息的缺乏在物体具有遮挡关系的立体匹配方面并不理想。光场相机稠密、规则采样的特性使得利用光场数据发展出高准确度的视觉定位方法成为可能。
[0006]中国专利技术专利CN107038719A公布了一种基于光场图像的角度域像素的深度估计方法及系统，该技术的深度估计算法复杂，处理器负担过大、以及采集的深度图精度较差；中国专利技术专利CN107578437公布了一种基于重聚焦堆栈及物象关系的深度提取方法，但该方案及其依赖光场相机的几何结构，不具有普适性，同时两种方法均没有找到像点到空间物点的映射关系。

技术实现思路

[0007]为了解决目前存在的视觉定位普适性差，定位分辨率低等问题，本专利技术提供了一种基于光场相机的三维定位方法，所述方法包括：
[0008]步骤1：采集被测物体的光场图像：使用光场相机拍摄被测物体图像，对得到的图像解码获得光场图像并转化为标准光场描述形式；
[0009]步骤2：视差提取：将所述步骤1中的光场图像转化为子孔径图像阵列，以子孔径图像阵列的中心视角为参考，获得各视角相对于中心视角的视差图集合M
D
；
[0010]步骤3：投影模型计算：使用光场相机拍摄棋盘格图像，经过光场相机标定程序，获得空间三维点到图像传感器坐标的映射关系，形成投影模型；
[0011]步骤4：三维坐标计算：所述步骤2中求解的视差图集合M
D
通过均值拟合的方式获得相邻视角的唯一视差图D，结合所述步骤3的投影模型得到子孔径图像的视差
‑
深度转换关系，得到所述被测物体的三维坐标。
[0012]可选的，所述步骤1包括：
[0013]步骤11：光场相机采集被测物体，获得初始光场图像L
o
；
[0014]步骤12：使用光场图像解码程序，将所述初始光场图像L
o
矫正为标准光场图像L
s
；
[0015]步骤13：重新排列所述标准光场图像L
s
，将六边形光场图像转化为正方形排列的标准四维光场形式。
[0016]可选的，所述步骤2包括：
[0017]步骤21：提取所述光场图像中所有微透镜下子图像相同位置的像素点，进而组合成子孔径图像；对子图像所有位置像素点进行相同操作，获得光场子孔径图像阵列；
[0018]步骤22：以所述子孔径图像阵列的中心视点对应的子孔径图像为参考视角，以包括但不限于立体匹配法，光流法及机器学习等图像处理方法计算其他视角相对于参考视角的视差，获得所有视角相对与中心视角的视差图集合M
D
；
[0019]步骤23：结合步骤22得到的所述视差图集合M
D
，通过拟合均值计算得到一幅代表相邻两视角的视差图D。
[0020]可选的，所述步骤3包括：步骤31：建立相机坐标[x,y,z]T
到空间四维坐标系[u,v,s,t]T
的映射关系，相机坐标系是以相机主透镜中心为原点的空间三维坐标系，空间四维坐标系是该三维坐标系下某平面内物体源点m(x,y,z)的位置坐标[s,t]和方向坐标[u,v]的一种空间四维表示[s,t,u,v]T
,则此点m的四维坐标[s,t,u,v]T
与其对应的三维坐标m(x,y,z)之间具有如公式(1)所示的转换关系：
[0021][0022]其中，λ为此任意点到相机坐标系原点的距离；
[0023]步骤32：通过棋盘格标定法获得空间四维坐标系[s,t,u,v]T
到传感器光场坐标[i,j,k,l]T
的转换关系，其中[s,t]表示空间坐标，[u,v]表示角度坐标，[i,j]表示微透镜坐标，[k,l]表示每一个微透镜对应在传感器上的局部像素坐标，如公式(2)所示：
[0024][0025]其中h
(
·
)
为内参矩阵参数；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光场相机的三维定位方法，其特征在于，所述方法包括：步骤1：采集被测物体的光场图像：使用光场相机拍摄被测物体图像，对得到的图像解码获得光场图像并转化为标准光场描述形式；步骤2：视差提取：将所述步骤1中的光场图像转化为子孔径图像阵列，以子孔径图像阵列的中心视角为参考，获得各视角相对于中心视角的视差图集合M
D
；步骤3：投影模型计算：使用光场相机拍摄棋盘格图像，经过光场相机标定程序，获得空间三维点到图像传感器坐标的映射关系，形成投影模型；步骤4：三维坐标计算：所述步骤2中求解的视差图集合M
D
通过均值拟合的方式获得相邻视角的唯一视差图D，结合所述步骤3的投影模型得到子孔径图像的视差
‑
深度转换关系，得到所述被测物体的三维坐标。2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：步骤11：光场相机采集被测物体，获得初始光场图像L
o
；步骤12：使用光场图像解码程序，将所述初始光场图像L
o
矫正为标准光场图像L
s
；步骤13：重新排列所述标准光场图像L
s
，将六边形光场图像转化为正方形排列的标准四维光场形式。3.根据权利要求1所述的方法，其特征在于，所述步骤2包括：步骤21：提取所述光场图像中所有微透镜下子图像相同位置的像素点，进而组合成子孔径图像；对子图像所有位置像素点进行相同操作，获得光场子孔径图像阵列；步骤22：以所述子孔径图像阵列的中心视点对应的子孔径图像为参考视角，以包括但不限于立体匹配法，光流法及机器学习等图像处理方法计算其他视角相对于参考视角的视差，获得所有视角相对与中心视角的视差图集合M
D
；步骤23：结合步骤22得到的所述视差图集合M
D
，通过拟合均值计算得到一幅代表相邻两视角的视差图D。4.根据权利要求1所述的方法，其特征在于，所述步骤3包括：步骤31：建立相机坐标[x,y,z]
T
到空间四维坐标系[u,v,s,t]
T
的映射关系，相机坐标系是以相机主透镜中心为原点的空间三维坐标系，空间四维坐标系是该三维坐标系下某平面内物体源点m(x,y,z)的位置坐标[s,t]和方向坐标[u,v]的一种空间四维表示[s,t,u,v]
T
,则此点m的四维坐标[s,t,u,v]
T
与其对应的三维坐标m(x,y,z)之间具有如公式(1)所示的转换关系...

【专利技术属性】
技术研发人员：艾灵玉，石肖，钱鑫，
申请(专利权)人：江南大学，
类型：发明
国别省市：