基于双目立体匹配的匹配代价矩阵生成方法和系统技术方案

本发明专利技术公开了一种基于双目立体匹配的匹配代价矩阵生成方法和系统，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。提供数据支持。提供数据支持。

Matching cost matrix generation method and system based on binocular stereo matching

【技术实现步骤摘要】
基于双目立体匹配的匹配代价矩阵生成方法和系统


[0001]本申请实施例涉及自动驾驶
，具体涉及一种基于双目立体匹配的匹配代价矩阵生成方法和系统。

技术介绍

[0002]随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并对双目立体匹配，在感知周围环境后做出分析，通过将信息提供给控制系统，实现对路面情况的检测。
[0003]双目立体匹配可划分为四个步骤，即匹配代价计算、代价聚合、视差计算和视差优化。在匹配代价计算中，传统双目立体匹配往往使用手工特征。这种特征一般只能提取较浅的信息，无论是单独使用，还是互相组合，都很难生成准确的匹配代价矩阵，则后续步骤无法得到准确的数据支持，导致双目立体匹配的准确性较差。

技术实现思路

[0004]为此，本专利技术提供一种基于双目立体匹配的匹配代价矩阵生成方法和系统，以提高匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
[0005]为了实现上述目的，本申请实施例提供如下技术方案：根据本申请实施例的第一方面，提供了一种基于双目立体匹配的匹配代价矩阵生成方法，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
[0006]进一步地，预训练匹配代价模型，具体包括以下步骤：获取匹配代价矩阵样本；将所述匹配代价矩阵样本输入深度训练模型中进行训练，以得到匹配代价模型。
[0007]进一步地，获取匹配代价矩阵样本，具体包括：获取左图样本和右图样本；将所述左图样本和所述右图样本分别输入预训练的全景分割模型，以得到左特征图样本和右特征图样本；计算左特征图样本和右特征图样本中各视差点的相似度，以得到匹配代价矩阵样本；其中，所述全景分割模型是利用全景分割数据集进行训练得到的。
[0008]进一步地，通过预先搭建的全景分割网络，使用所述全景分割数据集训练得到全景分割模型。
[0009]进一步地，所述全景分割网络为U型结构。
[0010]根据本申请实施例的第二方面，提供了一种基于双目立体匹配的匹配代价矩阵生成系统，所述系统包括：视图获取单元，用于获取目标区域的左图和右图；特征图生成单元，用于将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；代价矩阵生成单元，用于计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
[0011]根据本申请实施例的第三方面，提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
[0012]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
[0013]在一种或几种具体实施方式中，本专利技术所提供的基于双目立体匹配的匹配代价矩阵生成方法，具有以下技术效果：在立体匹配任务中，将深度学习方法和传统方法进行融合，深度学习负责编码提取特征，传统方法负责解码获得结果；同时，使用全景分割任务训练得到图像特征，既可以得到不同物体间的边缘信息，又可以增加深度网络的泛化性；使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。从而提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
附图说明
[0014]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0015]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。
[0016]图1为本专利技术所提供的基于双目立体匹配的匹配代价矩阵生成方法一种具体实施方式的流程图；
图2为图1所示方法中匹配代价模型的训练过程流程图；图3为图2所示方法中样本获取的流程图；图4为图2所示训练方法所利用的全景分割网络的网络结构图；图5为本专利技术所提供的基于双目立体匹配的匹配代价矩阵生成系统一种具体实施方式的结构框图。
具体实施方式
[0017]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]为了解决双目立体匹配中，匹配代价矩阵准确性较低的问题，本专利技术提供了一种匹配代价矩阵生成方法，该方法使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。
[0019]请参考图1，图1为本专利技术所提供的基于双目立体匹配的匹配代价矩阵生成方法一种具体实施方式的流程图。
[0020]在一种具体实施方式中，本专利技术所提供的基于双目立体匹配的匹配代价矩阵生成方法包括以下步骤：S101：获取目标区域的左图和右图；S102：将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；由于同等需要图像上每个点的特征，所以选择对像素点一对一转换的任务，比如实例分割（将每个点色彩信息转换为物体id）、语义分割（将每个点色彩信息转换为类别）、全景分割（实例分割+语义分割）、深度估计（将每个点色彩信息转换为深度）等；使用深度学习方法得到一组层次深、纬度高、与输入图像同尺寸的特征图。
[0021]S103：计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
[0022]进一步地，在得到匹配代价矩阵之后，通过代价聚合、视差计算和视差优化完成立体匹配，其中，代价聚合时SGM每个点的视差由前一个点和当前点的视差融合得到；视差计算时，Argmax取相似度最大的视差，作为该点的视差值；视差优化时，如滤波去除离群点、补全被遮挡区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目立体匹配的匹配代价矩阵生成方法，其特征在于，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。2.如权利要求1所述的匹配代价矩阵生成方法，其特征在于，预训练匹配代价模型，具体包括以下步骤：获取匹配代价矩阵样本；将所述匹配代价矩阵样本输入深度训练模型中进行训练，以得到匹配代价模型。3.如权利要求2所述的匹配代价矩阵生成方法，其特征在于，获取匹配代价矩阵样本，具体包括：获取左图样本和右图样本；将所述左图样本和所述右图样本分别输入预训练的全景分割模型，以得到左特征图样本和右特征图样本；计算左特征图样本和右特征图样本中各视差点的相似度，以得到匹配代价矩阵样本；其中，所述全景分割模型是利用全景分割数据集进行训练得到的。4.如权利要求3所述的匹配代价矩阵生成方法，其特征在于，通过预先搭建的全景分割网络，使用所述全景分割...

【专利技术属性】
技术研发人员：王鹏，杨超，葛方海，刘永才，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：