基于长基线双目鱼眼相机的定位及车载终端制造技术

本发明专利技术公开一种基于长基线双目鱼眼相机的定位及车载终端，其中该方法包括：获取第一图像的多个第一二维特征点和多个第一三维地图点；在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度，并按照所述当前尺度对多个所述第一三维地图点进行更新，得到多个第二三维地图点；计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值；将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影，得到与多个所述第一二维特征点相匹配的多个第二二维特征点；基于多个所述第一二维特征点和多个所述第二二维特征点的匹配关系，确定所述移动目标所处的空间位置。

Location and vehicle terminal of binocular camera based on long baseline

【技术实现步骤摘要】
基于长基线双目鱼眼相机的定位及车载终端
本专利技术涉及自动驾驶领域，具体而言，涉及一种基于双目视觉的定位及车载终端。
技术介绍
在双目图像之间搜索匹配点，其目标是在两个图像上内容重叠区域确定若干对以像素坐标表示的匹配点，确保每对匹配点对应三维世界中相同的三维点。现有的双目定位技术主要分为两类：1)基于描述子匹配的方法；2)基于图像灰度信息的直接法。现有方法通常适用于相机中心距离较近的(短基线)场景，在长基线的场景下，图像内容重叠区域通常在图像边缘畸变明显处占据很小面积，同时图像特征差异较大，且多存在遮挡等极端条件，现有方法无法保证匹配点的数目和质量，进而导致定位不准确。
技术实现思路
本专利技术提供一种基于双目视觉的定位及车载终端，用以克服现有技术中存在的至少一个问题。根据本专利技术实施例的第一方面，提供一种基于双目视觉的定位，包括以下步骤：获取第一图像的多个第一二维特征点和多个第一三维地图点，其中，所述第一图像是通过双目图像采集装置的第一图像采集单元获取的，所述双目图像采集装置设置于移动目标上；在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度，并按照所述当前尺度对多个所述第一三维地图点进行更新，得到多个第二三维地图点；计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值，其中，所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的，所述第二图像的获取时间与所述第一图像的获取时间相同；<br>将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影，得到与多个所述第一二维特征点相匹配的多个第二二维特征点；基于多个所述第一二维特征点和多个所述第二二维特征点的匹配关系，确定所述移动目标所处的空间位置。可选的，所述双目图像采集装置为长基线双目鱼眼相机。可选的，上述方法还包括以下步骤:根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。可选的，所述第一图像的多个第一二维特征点和多个第一三维地图点通过单目视觉里程计获取。可选的，所述在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度包括：在预先设定的尺度范围内，所述当前尺度的初始值为最大可能值，然后在其达到最小值之前按照如下步骤获取所述当前尺度的下一取值：获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点；将地图的当前尺度减小设定量，根据减小后的尺度对该深度最小的三维地图点进行更新；将更新后的三维地图点向所述第二图像进行投影，得到该深度最小的三维地图点在所述第二图像上投影的改变方向；沿所述改变方向步进一个像素的距离，将此时深度与原始深度的比值作为地图新的尺度。可选的，所述计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值包括：将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围nxn方块像素点，按照更新后的深度值投影到所述第二图像上，得到在所述第二图像上的nxn个像素位置，其中，设定图像上局部小区域内的深度相同，n为正整数；按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC：其中，x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点，x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点；I1,I2分别为第一图像和第二图像，i为二维特征点周围nxn像素的索引，I1(x1,i)表示第一图像上二维特征点x1周围nxn区域中的第i个像素，I2(x2,i)表示第二图像上二维特征点x2周围nxn区域中的第i个像素，表示第一图像上二维特征点x1周围nxn像素值的平均值，表示第二图像上二维特征点x2周围nxn像素值的平均值；根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值。根据本专利技术实施例的第二方面，提供一种车载终端，包括：获取模块，被配置为获取第一图像的多个第一二维特征点和多个第一三维地图点，其中，所述第一图像是通过双目图像采集装置的第一图像采集单元获取的，所述双目图像采集装置设置于移动目标上；地图点更新模块，被配置为在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度，并按照所述当前尺度对多个所述第一三维地图点进行更新，得到多个第二三维地图点；计算模块，被配置为计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值，其中，所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的，所述第二图像的获取时间与所述第一图像的获取时间相同；匹配模块，被配置为将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影，得到与多个所述第一二维特征点相匹配的多个第二二维特征点；定位模块，基于多个所述第一二维特征点和多个所述第二二维特征点的匹配关系，确定所述移动目标所处的空间位置。。可选的，上述车载终端还包括：尺度更新模块，被配置为根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。可选的，所述地图点更新模块包括：尺度调整单元，被配置为在预先设定的尺度范围内，所述当前尺度的初始值为最大可能值，然后在其达到最小值之前将步进尺度获取单元确定的尺度值所述当前尺度的下一取值：深度最小点获取单元，被配置为获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点；深度最小点更新单元，被配置为将地图的当前尺度减小设定量，根据减小后的尺度对该深度最小的三维地图点进行更新；改变方向确定单元，被配置为将更新后的三维地图点向所述第二图像进行投影，得到该深度最小的三维地图点在所述第二图像上投影的改变方向；所述步进尺度获取单元，被配置为沿所述改变方向步进一个像素的距离，将此时深度与原始深度的比值作为地图新的尺度。可选的，所述计算模块包括：投影单元，被配置为将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围nxn方块像素点，按照更新后的深度值投影到所述第二图像上，得到在所述第二图像上的nxn个像素位置，其中，设定图像上局部小区域内的深度相同，n为正整数；NCC计算单元，被配置为按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC：其中，x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点，x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点；I1,I2分别为第一图像和第二图像，i为二维特征点周围nxn像素的索引，I1(x1,i)表示第一图像上第i个二维特征点的像素值，I2(x2,i)表示第二图像上第i个二维特征点的像素值，表本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的定位方法，其特征在于，包括以下步骤：/n获取第一图像的多个第一二维特征点和多个第一三维地图点，其中，所述第一图像是通过双目图像采集装置的第一图像采集单元获取的，所述双目图像采集装置设置于移动目标上；/n在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度，并按照所述当前尺度对多个所述第一三维地图点进行更新，得到多个第二三维地图点；/n计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值，其中，所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的，所述第二图像的获取时间与所述第一图像的获取时间相同；/n将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影，得到与多个所述第一二维特征点相匹配的多个第二二维特征点；/n基于多个所述第一二维特征点和多个所述第二二维特征点的匹配关系，确定所述移动目标所处的空间位置。/n

【技术特征摘要】
1.一种基于双目视觉的定位方法，其特征在于，包括以下步骤：
获取第一图像的多个第一二维特征点和多个第一三维地图点，其中，所述第一图像是通过双目图像采集装置的第一图像采集单元获取的，所述双目图像采集装置设置于移动目标上；
在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度，并按照所述当前尺度对多个所述第一三维地图点进行更新，得到多个第二三维地图点；
计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值，其中，所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的，所述第二图像的获取时间与所述第一图像的获取时间相同；
将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影，得到与多个所述第一二维特征点相匹配的多个第二二维特征点；
基于多个所述第一二维特征点和多个所述第二二维特征点的匹配关系，确定所述移动目标所处的空间位置。


2.根据权利要求1所述的基于双目视觉的定位，其特征在于，所述双目图像采集装置为长基线双目鱼眼相机。


3.根据权利要求1-2中任一项所述的基于双目视觉的定位，其特征在于，还包括以下步骤:
根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。


4.根据权利要求1-3中任一项所述的基于双目视觉的定位，其特征在于，所述第一图像的多个第一二维特征点和多个第一三维地图点通过单目视觉里程计获取。


5.根据权利要求1-4中任一项所述的基于双目视觉的定位，其特征在于，所述在预先设定的尺度范围内，按照设定的次序和步长更新地图的当前尺度包括：
在预先设定的尺度范围内，所述当前尺度的初始值为最大可能值，然后在其达到最小值之前按照如下步骤获取所述当前尺度的下一取值：
获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点；
将地图的当前尺度减小设定量，根据减小后的尺度对该深度最小的三维地图点进行更新；
将更新后的三维地图点向所述第二图像进行投影，得到该深度最小的三维地图点在所述第二图像上投影的改变方向；
沿所述改变方向步进一个像素的距离，将此时深度与原始深度的比值作为地图新的尺度。


6.根据权利要求1-5中任一项所述的基于双目视觉的定位，其特征在于，所述计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值包括：
将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围nxn方块像素点，按照更新后的深度值投影到所述第二图像上，得到在所述第二图像上的nxn个像素位置，其中，设定图像上局部小区域内的深度相同，n为正整数；
按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC：



其中，x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点，x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点；I1,I2分别为第一图像和第二图像，i为二维特征点周围nxn像素的索引，I1(x1,i)表示第一图像上二维特征点x1周围nxn区域中的第i个像素，I2(x2,i)表示第二图像上二维特征点x2周围nxn区域中的第i个像素，表示第一图像上二维特征点x1周围nxn像素值的平均值，表示第二图像上二维特征点x2周围nxn像素值的平均值；
根据得到的多个NCC值得到多个所...

【专利技术属性】
技术研发人员：刘一龙，徐抗，谢国富，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11