基于深度学习的异源图像双目立体视觉测距方法和系统技术方案

本公开涉及基于深度学习的异源图像双目立体视觉测距方法和系统。该方法包括：获取第一类型图像和第二类型图像，第一和第二类型图像分别经由处于预设相对位置的第一和第二相机针对同一场景在同一时间捕获得到并且第一类型图像的视场大于第二类型图像的视场；对第一和第二类型图像中的至少一者进行处理；将处理后的第一和第二类型图像进行共面行对准；预测得到与第一和第二类型图像相关联的视差图；以及基于视差图，获取场景中待测目标的距离信息。以此方式，能够在不增加系统结构的前提下利用异源图像生成准确的视差图进而准确得到目标的距离信息，同时对目标在不同波段实现检测和追踪。测和追踪。测和追踪。

【技术实现步骤摘要】
基于深度学习的异源图像双目立体视觉测距方法和系统


[0001]本公开一般地涉及计算机领域，特别地涉及基于深度学习的异源图像双目立体视觉测距方法和系统。

技术介绍

[0002]计算机视觉是一项综合技术，利用相机等传感器对外界进行观测并利用图像处理系统进行判断。然而，由CCD相机或COMS相机采集到的图像信息通常只保留了图像的二维信息，丢失了图像中目标的深度信息。因此，获取目标的三维信息能够帮助使用者更加准确、客观地对目标进行判断。目前，对物体的非接触式光学测距技术主要分为三种：结构光法、飞行时间法(TOF法)以及双目立体视觉法。其中，结构光法和TOF法属于主动测距技术，而利用双目立体视觉法获取目标的深度信息则属于被动测距技术。
[0003]在具体应用中，结构光测距技术容易受到外界环境光照的干扰，在进行远距离测距时误差较大，并且易受到光滑平面如镜子的反光影响。相比之下，TOF深度相机利用的是TOF法来进行测距，其在中远距离范围内测量精度较高，但对近处目标其测量精度较差。
[0004]双目立体视觉法则通过模拟人眼判断距离的原理，使用两台相机从不同位置获取同一时刻下同一场景的左右视图，进而得到对应的视差图，然后根据三角测量原理计算出深度图，最终得到目标的距离信息。与其他两种技术不同的是，双目立体视觉不需要额外配置光源来辅助成像，因此可以避免因发射探测信号测距而暴露观测者位置，具有非接触式、隐蔽性强等优点。
[0005]与二维图像相比，获取目标的三维信息能够帮助使用者更加准确、客观地对环境进行感知。目前在自动驾驶辅助系统、抢险救灾机器人、小型无人机等领域广泛使用红外
‑
可见光波段成像来实现目标识别、追踪和视景增强等视觉任务。然而这些视觉任务只使用了图像的二维信息，丢失了图像中目标的深度信息。研究异源图像的立体视觉技术不仅可以利用两种不同波段图像的互补性，实现在复杂环境下对目标的识别和跟踪，还可以同时获取外界目标的相对位置信息、深度信息以及尺寸信息等。随着多传感器数据匹配、融合技术的快速发展，实现多传感器优势互补、利用不同波段的图像信息实现双目立体视觉也更具有可行性。
[0006]因此，需要一种立体视觉测距方法和系统，以有效地提升异源图像采集系统的使用效率，同时获取外界目标的相对位置信息、深度信息以及尺寸信息等，实现在复杂环境下对目标的准确识别和跟踪。

技术实现思路

[0007]根据本公开的示例实施例，提供了一种基于深度学习的异源图像双目立体视觉测距的方案。
[0008]在本公开的第一方面中，提供了一种基于深度学习的异源图像双目立体视觉测距方法。该方法包括：获取第一类型图像和第二类型图像，所述第一类型图像和所述第二类型
图像分别经由处于预设相对位置的第一相机和第二相机针对同一场景在同一时间捕获得到并且所述第一类型图像的视场大于所述第二类型图像的视场；对所述第一类型图像和所述第二类型图像中的至少一者进行处理，使得所述第一类型图像的分辨率等于所述第二类型图像的分辨率；将处理后的所述第一类型图像和所述第二类型图像进行共面行对准；将经共面行对准后的所述第一类型图像和所述第二类型图像输入基于深度学习的立体匹配网络模型进行立体匹配，以预测得到与所述第一类型图像和所述第二类型图像相关联的视差图；以及基于所述视差图，获取所述场景中待测目标的距离信息。
[0009]在一些实施例中，对所述第一类型图像和所述第二类型图像中的至少一者进行处理还可以包括：将所述第二类型图像转换为伪第一类型图像；以及处理所述第一类型图像和所述伪第一类型图像，使得所述第一类型图像的分辨率等于所述伪第一类型图像的分辨率。
[0010]在一些实施例中，所述第一类型图像可以包括可见光图像；所述第二类型图像可以包括长波红外图像；所述第一相机可以包括可见光相机；以及所述第二相机可以包括长波红外相机。
[0011]在一些实施例中，获取第一类型图像和第二类型图像可以包括：对所述第一相机和所述第二相机分别进行单目标定，以获得所述第一相机和所述第二相机的至少以下参数：内参矩阵、外参矩阵和畸变向量；以及利用所述第一相机和所述第二相机捕获得到所述第一类型图像和所述第二类型图像。
[0012]在一些实施例中，将处理后的所述第一类型图像和所述第二类型图像进行共面行对准可以包括：对所述第一相机和所述第二相机进行立体标定，以得到所述第一相机和所述第二相机分别对应的相机坐标系之间的旋转及平移关系；以及基于与所述单目标定和所述立体标定相关联的参数信息对所述第一类型图像和所述第二类型图像进行共面行对准。
[0013]在一些实施例中，对所述第一类型图像和所述第二类型图像中的至少一者进行处理，使得所述第一类型图像的分辨率等于所述第二类型图像的分辨率可以包括：对所述第一类型图像进行裁剪与缩放，以使得所述第一类型图像的分辨率等于所述第二类型图像的分辨率。
[0014]在一些实施例中，将处理后的所述第一类型图像和所述第二类型图像进行共面行对准还可以包括：利用Bouguet算法对经裁剪和缩放后的所述第一类型图像和所述第二类型图像进行立体校正，得到共面行对准的所述第一类型图像和所述第二类型图像。
[0015]在一些实施例中，基于所述视差图，获取所述场景中待测目标的距离信息可以包括：基于对应于经共面行对准后的所述第一类型图像和所述第二类型图像的参数信息，利用三角测距原理求解出所述场景的深度信息。
[0016]在一些实施例中，对所述第一相机和所述第二相机分别进行单目标定可以包括：响应于确定到所述第二类型图像为长波红外图像，使用带有加热板的标定板对所述第二类型图像进行标定，并且其中所述标定板具有与颜色网格相对应的热传导能力。
[0017]在本公开的第二方面中，提供了一种基于深度学习的异源图像双目立体视觉测距系统，该系统用于执行根据本公开第一方面所述的方法。
[0018]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理
解。
附图说明
[0019]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。附图用于更好地理解本方案，不构成对本公开的限定，其中：
[0020]图1示出了基于深度学习的异源图像双目立体视觉测距方法的示意流程图；
[0021]图2示出了根据本公开的一些实施例的可见光图像的横向分辨率示意计算图；
[0022]图3示出了根据本公开的一些实施例的物点P在双目立体视觉系统的左右相机中分别成像时对极几何关系示意图；
[0023]图4示出了根据本公开的一些实施例的同一个空间物点在两相机像平面上分别所成的像点共面行对准示意图；
[0024]图5示出了根据本公开的一些实施例的经过立体校正后左右视图的效果示意图；
[0025]图6示出了根据本公开的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的异源图像双目立体视觉测距方法，其特征在于，包括：获取第一类型图像和第二类型图像，所述第一类型图像和所述第二类型图像分别经由处于预设相对位置的第一相机和第二相机针对同一场景在同一时间捕获得到并且所述第一类型图像的视场大于所述第二类型图像的视场；对所述第一类型图像和所述第二类型图像中的至少一者进行处理，使得所述第一类型图像的分辨率等于所述第二类型图像的分辨率；将处理后的所述第一类型图像和所述第二类型图像进行共面行对准；将经共面行对准后的所述第一类型图像和所述第二类型图像输入基于深度学习的立体匹配网络模型进行立体匹配，以预测得到与所述第一类型图像和所述第二类型图像相关联的视差图；以及基于所述视差图，获取所述场景中待测目标的距离信息。2.根据权利要求1所述的方法，其特征在于，对所述第一类型图像和所述第二类型图像中的至少一者进行处理还包括：将所述第二类型图像转换为伪第一类型图像；以及处理所述第一类型图像和所述伪第一类型图像，使得所述第一类型图像的分辨率等于所述伪第一类型图像的分辨率。3.根据权利要求1或2所述的方法，其特征在于，所述第一类型图像包括可见光图像；所述第二类型图像包括长波红外图像；所述第一相机包括可见光相机；以及所述第二相机包括长波红外相机。4.根据权利要求1所述的方法，其特征在于，获取第一类型图像和第二类型图像包括：对所述第一相机和所述第二相机分别进行单目标定，以获得所述第一相机和所述第二相机的至少以下参数：内参矩阵、外参矩阵和畸变向量；以及利用所述第一相机和所述第二相机捕获得到所述第一类型图像和所述第二类型图像。5.根据权利要求4所述的方法，...

【专利技术属性】
技术研发人员：李力，张子昂，田晓宇，金伟其，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：