【技术实现步骤摘要】
本专利技术涉及多尺度立体匹配，具体来说，涉及一种基于超像素分割的多尺度立体匹配方法及系统。
技术介绍
1、双目立体视觉是一种通过模拟人眼的双目视觉原理来获取三维空间信息的技术，其原理是利用两个摄像头从不同角度捕捉同一场景的图像，通过计算两个图像中对应点之间的视差值来推断出物体的深度信息，从而实现对空间结构的精确重建。双目立体视觉技术能够在工业生产中提供精确的三维空间信息，是机器视觉领域中的重要组成部分。
2、立体匹配是双目立体视觉的关键环节和技术难点所在。为了提高立体匹配算法的精确度，国内外学者提出了大量的立体匹配算法，其中应用广泛的算法包括census算法、绝对误差和算法（sad）、归一化互相关算法（ncc）等，但易受噪声、外界光照、弱纹理区域等因素的影响，且单一算法复杂场景下的适应性较低，这在实际应用中可能会严重影响立体匹配的准确性。
3、尽管现有技术中提供了多种立体匹配算法相结合的匹配策略，以此改善复杂场景下的鲁棒性，但在代价计算过程中对颜色差异不同代价采用固定的权重，难以发挥各代价函数的最大优势。此外，现有技术未能考虑到人眼双目视觉系统接收视觉信号的不同尺度特性，对拍摄场景中的不同光照条件的影响未能做到相对应的补偿。
4、针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
1、针对相关技术中的问题，本专利技术提出一种基于超像素分割的多尺度立体匹配方法及系统，以克服现有相关技术所存在的上述技术问题。
2、为此，本专
3、根据本专利技术的一个方面，提供了一种基于超像素分割的多尺度立体匹配方法，包括以下步骤：
4、s1、利用照度计检测环境中的光照强度，并通过双目相机获取左右图像，进行双目标定、畸变校正及极线矫正处理；
5、s2、基于slic算法的超像素分割法，对处理后的左图像进行图像分割，得到分割后图像的超像素标签图；
6、s3、利用yolov5网络检测左图像中的小目标物体，结合检测结果和分割结果确定高斯金字塔层数，并构建左右图像的高斯金字塔；
7、s4、根据高斯金字塔每层图像分别计算改进的census代价、sad代价和梯度代价，结合光照强度和分割结果确定各代价的环境权重系数，将改进的census代价、sad代价和梯度代价归一化后的加权均值作为每层的代价，并通过上采样和求均值的方式计算高斯金字塔的总融合代价；
8、s5、将每个像素点处使能量函数最小化的视差值作为代价聚合的结果视差值，基于八路径动态规划代价聚合算法，结合超像素标签图进行代价聚合，得到最终的聚合结果；
9、s6、基于聚合代价计算左图像中所有像素点的视差值，并依次通过左右一致性检测、视差填充、中值滤波进行视差优化。
10、进一步的，所述基于slic算法的超像素分割法，对处理后的左图像进行图像分割，得到分割后图像的超像素标签图包括以下步骤：
11、s21、分别计算左图像的一维信息熵及方差，并根据一维信息熵和方差计算自适应超像素个数；基于超像素个数，利用slic超像素分割算法对左图像进行分割，得到图像的分割标签图；
12、s22、在聚类中心周围预设范围内寻找每个超像素的所有小连通区域及外轮廓点，统计外轮廓点四邻域中不同超像素标签的像素点个数，并将小连通区域内所有像素点分配给出现频率最高的超像素标签；
13、s23、提取当前超像素外轮廓像素点并找出与外轮廓相邻的所有超像素标签，分别计算相邻超像素在r、g、b通道下的平均颜色值和一维信息熵，并计算相邻超像素与当前超像素之间的一维信息熵之差和颜色差异；
14、s24、在当前超像素与相邻超像素之间的一维信息熵之差小于预设的一维信息熵之差的阈值，且当前超像素与相邻超像素之间的颜色差异小于预设的颜色差异阈值时，将相邻超像素判定为过分割超像素，并将过分割超像素内所有像素点的超像素标签替换为当前的超像素标签，否则保持不变。
15、进一步的，一维信息熵的计算公式为：；；
16、自适应超像素个数的计算公式为：；
17、式中， e为左图像一维信息熵， n为左图像内像素点个数，为灰度值为 i的像素点个数， v为左图像方差，为左图像中第 j个像素点的灰度值，为左图像中像素点灰度值的平均值， k为自适应超像素个数， w为左图像的宽度， h为左图像的高度，为调节系数。
18、进一步的，平均颜色值的计算公式为：；
19、颜色差异的计算公式为：；；
20、式中，为在颜色通道 m下的平均颜色值，为超像素 s内的像素点个数，为在颜色通道 m下超像素内点 i的像素值，为超像素和之间的颜色差异，为在颜色通道 m下超像素的平均颜色值，为在颜色通道 m下超像素的平均颜色值。
21、进一步的，所述利用yolov5网络检测左图像中的小目标物体，结合检测结果和分割结果确定高斯金字塔层数，并构建左右图像的高斯金字塔包括以下步骤：
22、s31、利用预先构建的yolov5网络检测左图像中的目标物体，并筛选检测结果中的小目标物体，当检测结果的目标框满足时，则将当前检测结果作为小目标物体，统计所有小目标物体的个数、各小目标框的宽度和高度，其中，为目标框的宽度，为目标框的高度， w为左图像的宽度， h为左图像的高度，为检测阈值；
23、s32、根据检测结果和分割结果计算高斯金字塔层数，并结合双目相机获取的左右图像构建左右图像的高斯金字塔。
24、进一步的，高斯金字塔层数的计算公式为：；
25、式中， o为自适应高斯金字塔层数，为高斯金字塔最大层数，为经过超像素分割算法处理后的图像超像素个数， n为由yolov5网络检测出的小目标物体个数，为第 i个小目标框的宽度，为第 i个小目标框的高度。
26、进一步的，改进的census代价的计算公式为：；；；
27、sad代价的计算公式为：；
28、梯度代价的计算公式为：；
29、环境权重系数的计算公式为：；；；
30、融合代价计算公式为：；；
31、式中，为高斯金字塔中本文档来自技高网...
【技术保护点】
1.一种基于超像素分割的多尺度立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，所述基于SLIC算法的超像素分割法，对处理后的左图像进行图像分割，得到分割后图像的超像素标签图包括以下步骤：
3.根据权利要求2所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，一维信息熵的计算公式为：；方差的计算公式为：；自适应超像素个数的计算公式为：；
4.根据权利要求2所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，平均颜色值的计算公式为：；颜色差异的计算公式为：；
5.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，所述利用YOLOv5网络检测左图像中的小目标物体，结合检测结果和分割结果确定高斯金字塔层数，并构建左右图像的高斯金字塔包括以下步骤：
6.根据权利要求5所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，高斯金字塔层数的计算公式为：；
7.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法
8.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，能量函数的表达式为：；；；
9.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，通过视差填充进行视差优化包括：
10.一种基于超像素分割的多尺度立体匹配系统，用于实现权利要求1-9中任一项所述的基于超像素分割的多尺度立体匹配方法的步骤，其特征在于，该基于超像素分割的多尺度立体匹配系统包括图像获取与检测模块、图像分割模块、高斯金字塔构建模块、代价计算模块、代价聚合模块及视差优化模块；
...【技术特征摘要】
1.一种基于超像素分割的多尺度立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，所述基于slic算法的超像素分割法，对处理后的左图像进行图像分割，得到分割后图像的超像素标签图包括以下步骤：
3.根据权利要求2所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，一维信息熵的计算公式为：；方差的计算公式为：；自适应超像素个数的计算公式为：；
4.根据权利要求2所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，平均颜色值的计算公式为：；颜色差异的计算公式为：；
5.根据权利要求1所述的一种基于超像素分割的多尺度立体匹配方法，其特征在于，所述利用yolov5网络检测左图像中的小目标物体，结合检测结果和分割结果确定高斯金字塔层数，并构建左右图像的高斯金字塔...
【专利技术属性】
技术研发人员：雷经发，韦子涵，孙虹，李永玲，张淼，赵汝海，王璐，刘涛，
申请(专利权)人：安徽建筑大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。