一种基于双目视觉的大型目标三维重建方法及系统技术方案

一种基于双目视觉的大型目标三维重建方法及系统，三维重建方法包括以下步骤：获取目标不同视角的双目图像；对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；在信息增强之后的双目图像中对目标进行提取；对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。本发明专利技术基于双目视觉的三维重建技术能够有效克服因为环境变化对于重建效果的影响，利用张量补全技术增强目标因过度曝光和阴影产生的缺失像素信息，再对目标进行分割提取，解决了背景对于三维重建的干扰，提高了重建点云的效果。建点云的效果。建点云的效果。

【技术实现步骤摘要】
一种基于双目视觉的大型目标三维重建方法及系统


[0001]本专利技术属于计算机视觉领域，涉及一种基于双目视觉的大型目标三维重建方法及系统。

技术介绍

[0002]三维重建技术能够根据相关仪器测量目标数据，还原出目标的结构和其场景信息，由此而广泛应用于军事、医学医疗、文物修复以及无人驾驶等方面。
[0003]根据三维重建中测量目标数据方式的不同可以分为接触式测量和非接触式测量。接触式测量一般具有较高精度，但由于其操作复杂且在测量过程会一定程度对目标造成破坏，因此难以应用于大型或不规则目标。非接触式测量主要包括基于激光雷达的三维重建和基于结构光的三维重建。基于激光雷达的三维重建测量计算速度较快，但因雷达会受到环境遮挡物的干扰且价格高昂，难以应用于大型目标的测量；基于结构光的三维重建技术较成熟，生成深度图像分辨率较高，但极易受光照影响，基本不能应用于室外环境和复杂的室内环境。

技术实现思路

[0004]本专利技术的目的在于提供一种基于双目视觉的大型目标三维重建方法及系统，解决大型目标在不同场景下的三维重建过程中，因光照和环境变化造成的目标点云畸变和缺失的问题。
[0005]为了实现上述目的，本专利技术有如下的技术方案：
[0006]一种基于双目视觉的大型目标三维重建方法，包括以下步骤：
[0007]获取目标不同视角的双目图像；
[0008]对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；
[0009]在信息增强之后的双目图像中对目标进行提取；
[0010]对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。
[0011]作为本专利技术方法的一种优选方案，通过布置四个双目相机模组获取目标不同视角的双目图像；所述四个双目相机模组的布置方式为：
[0012]根据双目相机模组的视场角θ和目标的尺寸，以目标表面点最远距离L所在的直线为y轴，以目标中心为原点O建立空间直角坐标系，在坐标(0，l，0)处布置第一个双目相机模组CAM1，然后依次逆时针间隔90
°
布置其余三个双目相机模组CAM2、CAM3和CAM4；布置到位的四个双目相机模组拍摄部分组合后能够覆盖整个目标区域；其中：
[0013][0014]作为本专利技术方法的一种优选方案，所述对双目图像中的像素信息进行双阈值判断，定位信息缺失位置的步骤包括：
[0015]由基于像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失，标记信息缺失点为(x
i
,y
i
)，其中i＝1,2,3,..，n。
[0016]作为本专利技术方法的一种优选方案，所述基于像素点RGB值和sobel算子的多阈值方法的判断步骤包括：
[0017]设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时出现：
[0018](r,g,b)＜(r
min
,g
min
,b
min
)
[0019]或
[0020](r,g,b)＞(r
max
,g
max
,b
max
)
[0021]其中，(r
max
,g
max
,b
max
)和(r
min
,g
min
,b
min
)为预设的阈值；
[0022]上述条件为判断信息缺失的必要非充分条件；
[0023]再引入sobel算子检测区域的灰度变化情况：
[0024]设I(x,y)为像素点(x,y)的灰度值，和分别为像素点水平和竖直方向的灰度梯度，存在以下关系式：
[0025][0026][0027]如果标记该像素点为过度曝光或阴影处的一点。
[0028]作为本专利技术方法的一种优选方案，所述利用张量补全算法对缺失像素进行信息增强时采用低秩张量补全模型；
[0029]低秩张量补全模型表达式为：
[0030][0031]其中：χ和T是低n
‑
模式张量，且：
[0032][0033]其中：α
i
满足α
i
≥0且从而得到张量核范数最小化模型表达式为：
[0034][0035]引入N个辅助变量M1,...,M
N
后模型表达式为：
[0036][0037]s.t.χ
Ω
＝T
Ω
[0038]式中，λ＞0；
[0039]在计算得到χ和M
i
之后，得到最终的图像信息补全结果。
[0040]作为本专利技术方法的一种优选方案，所述在信息增强之后的双目图像中对目标进行提取包括以下步骤：
[0041]利用canny算子将双目图像划分成各个不同大小的连通区域Ω
i
，其中i＝1,2,3,..,n；如果Ω
i
＜Ω
min
，判断此连通区域处于复杂背景中，置此区域内像素点的RGB三通道的值都为0；对于连通区域Ω
i
，首先在此区域像素点的RGB三通道值中选择主色通道M0和对应辅色通道M1与M2，如果主色道和目标区域的主色通道不同，则直接判断该连通区域Ω
i
为背景区域，置此区域内像素点的RGB三通道的值都为0；否则，设该区域内的像素点为(x
i
,y
i
)，其中i＝1,2,3,..,n，n为Ω
i
内像素点的个数，按下式计算主色道和两个辅色道之间的均方差和
[0042][0043][0044]如果且则判断此连通区域为目标区域，否则判断其为背景区域并置此区域内像素点的RGB三通道的值都为0；
[0045]其中和为根据目标设定的阈值。
[0046]作为本专利技术方法的一种优选方案，所述对目标的双目图像进行立体匹配时，每个像素点(x,y)对应视差d的匹配代价C(x,y,d)由灰度匹配算子C
I
(x,y，d)和极线匹配算子C
P
(x，y，d)综合得到，计算表达式如下：
[0047]C(x，y，d)＝C
I
(x，y，d)+σ
·
C
P
(x,y,d)
[0048]其中，σ为极线匹配算子的权重系数。
[0049]作为本专利技术方法的一种优选方案，所述灰度匹配算子C
I
(x,y,d)和极线匹配算子C
P
(x,y,d)计算表达式具体如下：
[0050][0051][0052]其中：W表示以(x,y)为中心匹配点的匹配窗口，I
l
(x,y)和I
r
(x,y)分别表示左图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的大型目标三维重建方法，其特征在于，包括以下步骤：获取目标不同视角的双目图像；对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；在信息增强之后的双目图像中对目标进行提取；对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。2.根据权利要求1所述基于双目视觉的大型目标三维重建方法，其特征在于：通过布置四个双目相机模组获取目标不同视角的双目图像；所述四个双目相机模组的布置方式为：根据双目相机模组的视场角θ和目标的尺寸，以目标表面点最远距离L所在的直线为y轴，以目标中心为原点O建立空间直角坐标系，在坐标(0，l，0)处布置第一个双目相机模组CAM1，然后依次逆时针间隔90
°
布置其余三个双目相机模组CAM2、CAM3和CAM4；布置到位的四个双目相机模组拍摄部分组合后能够覆盖整个目标区域；其中：3.根据权利要求1所述基于双目视觉的大型目标三维重建方法，其特征在于，所述对双目图像中的像素信息进行双阈值判断，定位信息缺失位置的步骤包括：由基于像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失，标记信息缺失点为(x
i
,y
i
)，其中i＝1,2,3,..,n。4.根据权利要求3所述基于双目视觉的大型目标三维重建方法，其特征在于，所述基于像素点RGB值和sobel算子的多阈值方法的判断步骤包括：设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时出现：(r,g,b)＜(r
min
,g
min
,b
min
)或(r,g,b)＜(r
max
,g
max
,b
max
)其中，(r
max
,g
max
,b
max
)和(r
min
,g
min
,b
min
)为预设的阈值；上述条件为判断信息缺失的必要非充分条件；再引入sobel算子检测区域的灰度变化情况：设I(x,y)为像素点(x,y)的灰度值，和分别为像素点水平和竖直方向的灰度梯度，存在以下关系式：向的灰度梯度，存在以下关系式：
如果标记该像素点为过度曝光或阴影处的一点。5.根据权利要求1所述基于双目视觉的大型目标三维重建方法，其特征在于，所述利用张量补全算法对缺失像素进行信息增强时采用低秩张量补全模型；低秩张量补全模型表达式为：其中：χ和T是低n
‑
模式张量，且：其中：α
i
满足α
i
≥0且从而得到张量核范数最小化模型表达式为：引入N个辅助变量M1,...,M
N
后模型表达式为：s.t.χ
Ω
＝T
Ω
式中，λ＞0；在计算得到χ...

【专利技术属性】
技术研发人员：刘馨媛，荣海军，杨朝旭，陶思宇，张涛，王瑞，刘泽华，黄辉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：