【技术实现步骤摘要】
本专利技术属于机器人感知，涉及一种单双目融合的海上目标深度估计方法。
技术介绍
1、现有的是深度估计算法根据使用的图像数量可以分为单目深度估计和双目立体深度估计。随着深度学习技术的发展，进一步的可以分为基于传统图像的深度估计算法和基于深度学习的深度估计算法。
2、传统的双目立体深度估计算法模仿了人眼对于真实世界的成像和感知过程，利用两个相机对同一个目标场景获取两个视点图像，再计算两个视点图像中相同点的视差获得目标场景的深度信息。其计算过程主要包含下面五个步骤：双目相机标定、图像畸变校正、立体图像校正、左右图像匹配和三角法重投影视差图。相机标定主要是为了获得相机的参数，从而获得图片从三维空间到二维成像平面的转换关系，其中包括图像畸变的校正。传统的双目立体视觉中最关键以及最难的点就是图像的匹配，左右相机由于所处空间位置的不同，拍摄得到的图像在图片上会存在水平以及深度的视差，从而导致两幅图像存在差异。通过左右图像中相同点的差异，可以通过位置关系计算出物体距离相机的真实距离。传统的立体匹配算法有sad算法、bm算法、sgbm算法、gc算法等，这些算法都是基于全局或者局部的思路对搜寻匹配左右两张图片中相同的点，从而计算视差。基于深度学习的双目立体视觉抛弃了传统的双目立体视觉的步骤框架，讲求端到端的实现，即输入左右两张图片，输出为一张深度图，图上的每个像素点代表了到相机之间的距离。中间的网络就负责提取图片特征，匹配和计算视差。基于深度学习的双目立体视觉算法有psmnet、stereonet等。
3、单目深度估计一直以
4、一般来说，采用上述的单双目深度估计算法，会直接将感兴趣区域中间部分的深度值当作最后的深度值，但是海上的场景不能这么做，由于船的形状各不相同，并且有些目标船可能有帆或者桅杆，这就容易导致其不对称，直接使用感兴趣区域中心点很可能会导致其落入在船体之外，形成误差。而且在海上场景使用无人船拍摄时，无人船无论是静止，还是在行驶，还是在由于海浪海风上下颠簸，其运动都应该是连续的，无法发生突变的，因此无人船上的相机也不会处于一个静止的状态，他会处于一个无规则的连续运动状态，由于相机的运动，会导致图像也发生变化，这对于深度检测模型来说无疑是一个巨大的挑战。同时，由于海面环境比较宽广，船的大小相较于车辆等都比较庞大，因此在海面上的检测距离一般都在50m以上，这就需要大基线的双目相机来支撑，但大基线的双目相机存在一个问题：左相机图片的左边部分区域和右相机图片的右边部分区域无法进行匹配，因为在另一张图上无法找到对应点，并且这个区域会随着基线的增大而增大，这就会导致双目匹配的盲区增大，有效的双目匹配区域只有中间部分，当有目标出现在边缘，就容易得出不准确的信息。
技术实现思路
1、为了解决现有技术中存在的上述技术问题，本专利技术提出了一种单双目融合的海上目标深度估计方法，其具体技术方案如下：
2、一种单双目融合的海上目标深度估计方法，采用双目相机拍摄获取立体图像对；
3、对当前帧立体图像对进行目标框检测和深度估计处理，分别得到检测框和深度图；
4、将检测框映射至深度图上，在深度图上形成由检测框包围的感兴趣区域；
5、对每个感兴趣区域进行直方图特征提取和目标轮廓扫描；
6、根据检测框的位置大小和直方图特征，对当前帧和其前一帧的所有感兴趣区域进行一一匹配，对于当前帧中匹配不成功的感兴趣区域，为其创建分配一个新的卡尔曼滤波器；对于当前帧中匹配成功的感兴趣区域则沿用前一帧中已配对的卡尔曼滤波器。
7、进一步的，所述当前帧立体图像对不是初始帧时，当前帧立体图像对利用其前一帧图像对进行边缘区域拼接处理，得到新的立体图像对，由新的立体图像对输入深度估计模型处理得到一张深度图。
8、进一步的，所述立体图像对包括左相机图和右相机图；所述分区域单双目融合操作具体为：将当前帧的左相机图和右相机图的重合部分进行叠加处理，在当前帧左相机图的右侧拼接前一帧右相机图的右边区域图像，在当前帧右相机图的左侧拼接前一帧左相机图的左边区域图像。
9、进一步的，所述目标轮廓扫描使用sobel边缘提取算子进行，目标轮廓内的点即为目标的深度距离值。
10、进一步的，在当前帧和其前一帧的检测框位置大小和直方图特征的相似性都最高时，两个感兴趣区域匹配成功，表示属于同一个目标物体。
11、进一步的，所述卡尔曼滤波器用于放入其对应的感兴趣区域所得到的深度值，并进行平滑操作，输出一个最终的深度估计值即目标与相机的距离值。
12、本专利技术有以下有益效果：
13、本专利技术方法对选取输出的深度点进行调整，不直接选取检测框中心点，确保选取输出的深度点在物体内，能降低由于船不对称而造成的选取点在船体外而产生的误差，对同一目标的深度值进行平滑处理，能有效减弱由于前面深度估计模型所造成的深度突变的影响，保证在时间维度上，同一物体深度信息的连续性和一致性。
14、本专利技术对图像进行分区域处理，重叠区域处理不变，依旧使用双目匹配思想，结合左右图片，对于盲区部分，使用前一帧信息，运用单目深度估计中时间序列反映深度的思想，将时间信息融入输入数据，再将其送入深度估计模型进行学习，能有效减少大基线下双目立体视觉的盲区，扩大可信深度的区域，提高对于一些出现在图片边缘的船只的深度信息的可信度，并且该部分与后续的深度估计模型解耦，可以应用于任何一个深度估计模型之上，可有效解决由于海上目标测距需要使用到大基线双目相机，但是大基线双目相机会导致左右两幅图像重叠区域变小，双目匹配的盲区变大的问题。
本文档来自技高网...【技术保护点】
1.一种单双目融合的海上目标深度估计方法，其特征在于：
2.根据权利要求1所述的海上目标深度估计方法，其特征在于：
3.根据权利要求2所述的海上目标深度估计方法，其特征在于：
4.根据权利要求1所述的海上目标深度估计方法，其特征在于：
5.根据权利要求1所述的海上目标深度估计方法，其特征在于：
6.根据权利要求1所述的海上目标深度估计方法，其特征在于：
【技术特征摘要】
1.一种单双目融合的海上目标深度估计方法，其特征在于：
2.根据权利要求1所述的海上目标深度估计方法，其特征在于：
3.根据权利要求2所述的海上目标深度估计方法，其特征在于：
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。