一种确定双目动态视觉传感器图像视差的方法和装置制造方法及图纸

本申请公开了一种确定双目动态视觉传感器图像视差的方法和装置。方法包括：基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；基于所述代价矩阵，确定所述每个像素点的视差。

【技术实现步骤摘要】
一种确定双目动态视觉传感器图像视差的方法和装置
本专利技术涉及计算机视觉
，更具体的说，涉及一种确定双目动态视觉传感器图像视差的方法和装置。
技术介绍
动态视觉传感器(DynamicVisionSensor，DVS)是一种新型的互补金属氧化物半导体(ComplementaryMetalOxideSemiconductor，CMOS)图像传感器。与传统的CMOS或电荷耦合元件(Charge-coupledDevice，CCD)传感器生成的图像不同，DVS图像可以根据场景光照变化强度大小而产生事件，即光照强度变化超过一定阈值的像素。由于环境光照变化等因素影响，DVS图像的事件具有噪声多、数量少(稀疏)、分布和数量不一致等特点。在对象识别、场景三维建模、图像渲染、立体电视、辅助驾驶等应用中，双目DVS图像具有广泛的应用。双目DVS图像包括：利用左目DVS相机拍摄的左目DVS图像及利用右目DVS相机拍摄的右目DVS图像。双目DVS图像具有确定左目DVS图像与右目DVS图像之间视差的需求。在现有技术中，主要利用基于局部特征相似性、非局部特征相似性或全局特征相似性的图像匹配技术来确定图像之间的视差。然而，这些技术都需要应用复杂的算法为每个像素提取特征，导致计算时间开销大。
技术实现思路
本申请提出一种确定双目动态视觉传感器图像视差的方法和装置。本申请的技术方案如下：根据本专利技术实施方式，一种确定双目动态视觉传感器图像视差的方法，包括：基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；基于所述代价矩阵确定每个像素点的视差。在一个实施方式中，在基于双目动态视觉传感器图像的事件分布，确定双目动态视觉传感器图像的每个像素点的特征之前，该方法还包括：去除所述双目动态视觉传感器图像的噪声事件。在一个实施方式中，所述去除双目动态视觉传感器图像的噪声事件包括：将所述双目动态视觉传感器图像正交分解为特征向量；计算所述特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将所述第一预定数目个特征向量组合为去除噪声事件的双目动态视觉传感器图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除所述第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的双目动态视觉传感器图像。在一个实施方式中，所述基于双目动态视觉传感器图像的事件分布，确定每个像素点的特征，包括：基于所述事件分布，确定事件区域和非事件区域：将所述事件区域中的像素点的特征设置为零；计算所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，并将所述欧氏距离设置为所述像素点的特征。在一个实施方式中，所述计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，包括：确定所述非事件区域中的像素点与每个事件的欧氏距离函数抛物线；确定所述欧氏距离函数抛物线间的交点，以得到抛物线交点集；根据所述抛物线交点集，选择交点之间的下包络，以作为所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。在一个实施方式中，基于每个像素点的特征，计算双目动态视觉传感器图像的左右匹配像素的代价矩阵，包括：基于每个像素点的特征，计算所述左右匹配像素的特征匹配代价；计算所述左右匹配像素的极性匹配代价；基于所述特征匹配代价和极性匹配代价，确定所述左右匹配像素的代价矩阵。在一个实施方式中，在基于所述代价矩阵确定每个像素点的视差之前，该方法还包括：平滑滤波所述代价矩阵。在一个实施方式中，所述平滑滤波代价矩阵包括：设置平滑因子；基于所述平滑因子平滑滤波所述代价矩阵。在一个实施方式中，该方法还包括：基于每个像素点的特征，确定像素点间的特征关联关系；基于每个像素点的视差和所述像素点间特征关联关系，优化不鲁棒像素点的视差。在一个实施方式中，所述优化不鲁棒像素点的视差包括：对每个像素点的视差进行左右目交叉验证；基于所述像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；基于所述稠密条件随机场优化不鲁棒像素点的视差。在一个实施方式中，该方法还包括：对每个像素点的视差进行左右目交叉验证；基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；基于所述稠密条件随机场，确定每个像素点在子像素点级别上的视差。在一个实施方式中，该方法还包括：基于双目动态视觉传感器图像的相机焦距、相机距离和每个像素点在子像素点级别上的视差，确定每个像素点的深度值。根据本专利技术实施方式，一种确定双目动态视觉传感器图像视差的装置，包括：特征确定模块，用于基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；代价矩阵计算模块，用于基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；视差确定模块，用于基于所述代价矩阵确定每个像素点的视差。由此可见，本专利技术利用DVS图像的像素点与事件之间的关系，根据DVS图像的事件分布快速地确定每个像素点的特征，无需应用复杂的算法为每个像素提取特征，从而有效提高了计算速度，降低了计算时间开销。附图说明图1为根据本专利技术实施方式的确定双目动态视觉传感器图像视差的方法流程图；图2为根据本专利技术实施方式的提取像素点特征的可视化示意图；图3为根据本专利技术实施方式的双目动态视觉传感器图像转换到视差图的示意图；图4为根据本专利技术实施方式的确定双目动态视觉传感器图像的视差并优化视差的示范性流程图；图5为根据本专利技术实施方式的视差优化效果的示范性对比图；图6为根据本专利技术实施方式的确定双目动态视觉传感器图像视差的装置结构图。图7为根据本专利技术实施方式确定双目动态视觉传感器图像视差的装置的示范性结构图。图8为根据图7所示装置的输入输出处理示意图。具体实施方式为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。鉴于现有技术中需要应用复杂的算法为每个像素提取特征，导致计算时间开销大的缺点，本专利技术利用DVS图像的像素点与事件之间的关系，根据DVS图像的事件分布快速地确定每个像素点的特征，从而降低计算时间开销。图1为根据本专利技术实施方式的确定双目动态视觉传感器图像视差的方法流程图。如图1所示，该方法包括：步骤101：基于双目DVS图像的事件分布，确定双目DVS图像的每个像素点的特征。DVS图像中的事件通常出现在对象边界或者轮廓周围。因此，DVS图像中的事件描述了对象的结构信息。在双目DVS图像中，相同的对象通常具有相似的结构。因此，双目DVS图像的对应事件也具有相似的局部结构。对于双目DVS图像的事件区域中的像素点，其特征为零；对于DVS图像的非事件区域中的像素点，该像素点与离该像素点的最近事件之间的欧氏距离反映了该像素与事件间的关联关系，即为该像素点的特征。因此，本专利技术可以根据双目DVS图像的事件分布，得到每个像素点的特征。在一个实施方式中，基于双目DVS图像的事件分布，确定双目DVS图像的每个像素点的特征具体包括：基于事件分布，确定出双目DVS图像中的事件区域和非事件区域：将双目DVS图像的事件区域中的像素点的特征设置为零；计算双目本文档来自技高网...

【技术保护点】
一种确定双目动态视觉传感器图像视差的方法，其特征在于，包括：基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；基于所述代价矩阵，确定所述每个像素点的视差。

【技术特征摘要】
1.一种确定双目动态视觉传感器图像视差的方法，其特征在于，包括：基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；基于所述代价矩阵，确定所述每个像素点的视差。2.根据权利要求1所述的方法，其特征在于，在基于双目动态视觉传感器图像的事件分布，确定双目动态视觉传感器图像的每个像素点的特征之前，该方法还包括：去除所述双目动态视觉传感器图像的噪声事件。3.根据权利要求2所述的方法，其特征在于，所述去除双目动态视觉传感器图像的噪声事件包括：将所述双目动态视觉传感器图像正交分解为特征向量；计算所述特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将所述第一预定数目个特征向量组合为去除噪声事件的双目动态视觉传感器图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除所述第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的双目动态视觉传感器图像。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于双目动态视觉传感器图像的事件分布，确定每个像素点的特征，包括：基于所述事件分布，确定事件区域和非事件区域：将所述事件区域中的像素点的特征设置为零；计算所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，并将所述欧氏距离设置为所述像素点的特征。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，包括：确定所述非事件区域中的像素点与每个事件的欧氏距离函数抛物线；确定所述欧氏距离函数抛物线间的交点，以得到抛物线交点集；根据所述抛物线交点集，选择交点之间的下包络，以作为所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。6.根据权利要求1-5中任一项所述的方法，其特征在于，基于每个像素点的特...

【专利技术属性】
技术研发人员：邹冬青，郭萍，王强，朴根柱，赵百焕，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11