基于机载双目视觉的障碍物感知方法技术

本发明专利技术提出一种基于机载双目视觉的障碍物感知方法，包括以下步骤：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及根据所述最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。本发明专利技术的基于机载双目视觉的障碍物感知方法的适应性强，实时性好，隐蔽性好。

【技术实现步骤摘要】

本专利技术涉及飞行器导航及计算机视觉
，特别涉及一种。
技术介绍
随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，尤其是在进近飞行环境中对环境变化捕捉迅速、反应敏锐等特点，在飞行器导引/导航研究中得到了越来越多的关注。基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉的应用较为广泛。单目视觉使用一台机载相机获取飞行图像，但在图像投影过程中丢失了飞行环境的三维信息。而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复被测量点的三维坐标，提供了用以估算飞行环境中障碍物距离的深度等信息，对于未知飞行环境中飞行器飞行过程中景物匹配、障碍物和潜在碰撞检测具有重要的实用意义，因而在移动机器人等研究领域被大量采用。另一方面，双目视觉采用被动方式进行环境感知及测距， 与传统的激光、雷达和超声等主动环境感知方法相比，可以减少多个飞行器检测过程中的相互干扰，更为重要的是可降低战场环境中被发现的概率，隐蔽性强。现有的基于视觉的障碍物感知方法存在的问题是，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为达到上述目的，本专利技术提出一种，包括以下步骤S1 设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；S2 提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；S3 根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及S4 根据所述最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。根据本专利技术实施例的至少具有以下有益效果(1)适应性强，本专利技术的方法只需要采集飞行环境的图像信息而无需外部特定环境信息，因此可适应全天时全天侯情况下的飞行器视觉导航应用；(2)实时性好，本专利技术的方法采用的图像角点检测、匹配及视差图像生成方法简单，可达到每秒15帧或更高的图像处理速度，更适于机载图像实时处理及导航；(3)隐蔽性好，本专利技术的方法采用双目视觉的被动检测方法，不需要接收外部信息也不主动向外界发射信息，在特殊应用场景如战场环境下具有很好的隐蔽性。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为本专利技术实施例的的流程图；以及图2为本专利技术一个实施例的机载双目视觉系统的成像模型图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图1所示，根据本专利技术实施例的，包括以下步骤步骤SlOl，设置机载双目视觉相机的坐标系，并根据所述坐标系计算机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式。图像坐标系的建立及相机参数的测量是基于双目视觉的障碍物感知的基础，极大地影响着感知效果及测量准确性。机载双目视觉包括左相机Cl和右相机C2，两个相机的光轴相互平行。在本专利技术的一个实施例中，为便于后续的图像处理，以左相机Cl作为相机参数标定过程中的世界坐标系，左相机Cl的相机光心作为世界坐标系的原点，记为0。参考图1，可计算得到左相机所成图像的世界坐标系坐标与计算机图像坐标的转换公式为权利要求1.一种，其特征在于，包括以下步骤Sl 设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；S2:提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；S3:根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及S4 根据所述最终的匹配点对生成视差图，并根据所述视差图和所述匹配点所在的连通区域信息进行障碍物感知。2.根据权利要求1所述的，其特征在于，以所述左相机的光心作为所述坐标系的原点。3.根据权利要求2所述的，其特征在于，所述左相机所成图像的计算机图像坐标与所述坐标系之间的转换公式为4.根据权利要求1所述的，其特征在于，采用 Harris角点检测器检测所述左右相机所成图像的特征点信息，并使用SIFT算法用1 维的高维度对所述特征点进行特征向量描述。5.根据权利要求1所述的，其特征在于，所述步骤S3进一步包括S31 根据所述特征点的特征向量，通过以下的公式计算左右相机图像中两个待匹配的特征点的特征向量欧式距离，6.根据权利要求1所述的，其特征在于，所述步骤S4进一步包括S41 以左相机图像为基准生成视差图，并初始化所述视差图为全黑；S42:根据所述匹配点对，通过以下的公式计算相关系数，并根据所述相关系数对所述视差图进行着色，J相关=3 χ」(u-u'f+(v-v'y其中，(u，ν)为匹配点对左图像坐标，(u' ,ν')为右图像中相应匹配点坐标，d^^为所述相关系数；S43 根据所述着色后的视差图和所述匹配点的连通区域信息进行障碍物感知。7.根据权利要求6所述的基于双目视觉的障碍物感知方法，其特征在于，所述根据所述相关系数对所述视差图像进行着色进一步包括当d相关> 255时，在所述视差图像的匹配点坐标处涂以颜色055，0，0)；当O < d相关< 255时，在所述视差图像的匹配点坐标处涂以(d相关，0，255-d相关)的颜色；以及当左图像某点处不存在匹配点时，则保留初始化时的黑色不变，其中，颜色值是以三原色(红，绿，蓝)的形式给出的。8.根据权利要求6所述的基于双目视觉的障碍物感知方法，其特征在于，所述步骤S43 进一步包括对所述视差图进行分割，获得多个图像块；计算各个所述图像块内的特征点的视差值；当当前图像块内的特征点的视差值大于预定的阈值时，将所述当前图像块标记为障碍物区域；在所述视差图中，选取由多个所述障碍物区域组成的连通区域判断为障碍物。全文摘要本专利技术提出一种，包括以下步骤设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像本文档来自技高网...

【技术保护点】
１．一种基于机载双目视觉的障碍物感知方法，其特征在于，包括以下步骤：Ｓ１：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；Ｓ２：提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；Ｓ３：根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及Ｓ４：根据所述最终的匹配点对生成视差图，并根据所述视差图和所述匹配点所在的连通区域信息进行障碍物感知。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，李一鹏，
申请(专利权)人：清华大学，
类型：发明
国别省市：11