立体成像设备的自动校准制造技术

本文公开了用于校准立体成像设备的系统和方法。示例性实现包括在处理器处从立体成像设备接收多个图像对，以及针对该多个图像对中的每个图像对，计算相应行增量值，该相应行增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿水平轴的偏差。该实现还包括基于每个相应行增量值确定中值行增量值并且随后基于该中值行增量值确定该第一图像和该第二图像中的一个或多个特征中的相应视差集合。该方法还包括计算列增量值并使用该中值行增量值和该列增量值校准该立体成像设备。成像设备。成像设备。

【技术实现步骤摘要】
【国外来华专利技术】立体成像设备的自动校准
[0001]相关申请的交叉引用
[0002]本申请要求2020年10月27日提交的题为“立体成像设备的自动校准”的美国非临时专利申请第17/081,576号的权益，其全部内容通过引用明确并入本文。


[0003]本公开的方面总体上涉及成像设备，并且更具体地，涉及立体成像设备的自动校准。
[0004]背景
[0005]立体成像设备具有两个镜头，可用于估计捕获视图中的深度。两个镜头都经过校准以提供准确的成像和测量。然而，我们发现，经工厂校准的立体成像设备可能会由于环境因素(例如，温度变化、振动或一些未知的外部影响)而失去校准。在这种情况下，两个镜头和各自传感器之间的相对位置(包括平移和方向位置)会偏离其在出厂校准时设置的原始位置。由于在校准过程中获得的部分校准参数依赖于两个镜头和两个传感器之间的相对位置，这种变化会使校准参数的准确性降低，并对获得的图像产生负面影响，从而也对后续过程(诸如图像分析和对象计数)的准确度产生负面影响。
[0006]因此，需要改进立体成像设备。

技术实现思路

[0007]以下呈现了一个或多个方面的简化概述，以便提供对此类方面的基本理解。本
技术实现思路
不是对所有预期方面的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
[0008]示例性实现包括一种用于校准立体成像设备的方法，包括：在处理器处从立体成像设备接收多个图像对，其中每个图像对包括由立体成像设备的第一传感器捕获的场景的第一图像和由立体成像设备的第二传感器捕获的该场景的第二图像。该方法进一步包括：在处理器处并且针对多个图像对中的每个图像对，计算相应行增量值，该相应行增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿水平轴的偏差。该方法进一步包括：基于每个相应行增量值确定中值行增量值。该方法进一步包括：基于中值行增量值确定第一图像和第二图像中的一个或多个特征中的相应视差集合。该方法进一步包括：计算列增量值，该列增量值等于基于相应视差集合中的每个视差的中值视差值与预定视差值之间的差值，其中列增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿垂直轴的偏差。该方法进一步包括：使用中值行增量值和列增量值校准立体成像设备。
[0009]另一示例性实现包括一种用于校准立体成像设备的装置，其包括存储器和与存储器进行通信的处理器。该处理器被配置成：从立体成像设备接收多个图像对，其中每个图像对包括由立体成像设备的第一传感器捕获的场景的第一图像和由立体成像设备的第二传
感器捕获的场景的第二图像。该处理器被配置成：针对多个图像对中的每个图像对，计算相应行增量值，该相应行增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿水平轴的偏差。该处理器被配置成：基于每个相应行增量值确定中值行增量值。该处理器被配置成：基于中值行增量值确定第一图像和第二图像中的一个或多个特征中的相应视差集合。该处理器被配置成：计算列增量值，该列增量值等于基于相应视差集合中的每一个的中值视差值与预定视差值之间的差值，其中列增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿垂直轴的偏差。该处理器被配置成：使用中值行增量值和列增量值校准立体成像设备。
[0010]另一示例性实现包括一种用于校准立体成像设备的装置，包括：用于在处理器处从立体成像设备接收多个图像对的装置，其中每个图像对包括由立体成像设备的第一传感器捕获的场景的第一图像和由立体成像设备的第二传感器捕获的该场景的第二图像。附加地，该装置进一步包括：用于在处理器处并且针对多个图像对中的每个图像对，计算相应行增量值的装置，该相应行增量指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿水平轴的偏差。该装置进一步包括：用于基于每个相应行增量值确定中值行增量值的装置。该装置进一步包括：用于基于中值行增量值确定第一图像和第二图像中的一个或多个特征中的相应视差集合的装置。该装置进一步包括：用于计算列增量值的装置，该列增量值等于基于相应视差集合中的每一个的中值视差值与预定视差值之间的差值，其中列增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿垂直轴的偏差。该装置进一步包括：用于使用中值行增量值和列增量值校准立体成像设备的装置。
[0011]另一示例性实现包括一种用于校准立体成像设备的计算机可读介质，其可由处理器执行以便：在处理器处从立体成像设备接收多个图像对，其中每个图像对包括由立体成像设备的第一传感器捕获的场景的第一图像和由立体成像设备的第二传感器捕获的该场景的第二图像。附加地，该指令进一步可执行以便：在处理器处并且针对多个图像对中的每个图像对，计算相应行增量值，该相应行增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿水平轴的偏差。该指令进一步可执行以便：基于每个相应行增量值确定中值行增量值。该指令进一步可执行以便：基于中值行增量值确定第一图像和第二图像中的一个或多个特征中的相应视差集合。该指令进一步可执行以便：计算列增量值，该列增量值等于基于相应视差集合中的每一个的中值视差值与预定视差值之间的差值，其中列增量值指示由第一传感器捕获的第一图像与由第二传感器捕获的第二图像之间沿垂直轴的偏差。该指令进一步可执行以便：使用中值行增量值和列增量值校准立体成像设备。
[0012]为了实现前述和相关目的，一个或多个方面包括下文充分描述并在权利要求中特别指出的特征。以下描述和附图详细阐述了一个或多个方面的某些说明性特征。然而，这些特征仅指示可采用各个方面的原理的各种方式中的少数几种，且此描述旨在包含所有此类方面及其等效物。
附图说明
[0013]并入本说明书中并且形成本说明书的一部分的附图说明了本公开的一个或多个
示例方面，其中虚线可以表示可选组件，并且与详细说明一起用于解释它们的原理和实现。
[0014]图1是根据本公开的示例性方面的来自需要校准的立体成像设备中的传感器的两个未对齐图像的示例。
[0015]图2是根据本公开的示例性方面的从校准的立体成像设备输出的图像的示例。
[0016]图3描绘了根据本公开的示例性方面的将图像视差映射到图像特征的两个直方图。
[0017]图4是根据本公开的示例性方面的执行自动校准组件的计算设备的框图。
[0018]图5是图示根据本公开的示例性方面的用于校准立体成像设备的方法的流程图。
[0019]图6是图示根据本公开的示例性方面的用于选择用于校准的行增量值的方法的流程图。
[0020]图7是图示根据本公开的示例性方面的用于对相应视差集合中的多个非移动特征进行聚类的方法的流程图。
具体实施方式
[0021]现在参考附图描述各个方面。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校准立体成像设备的方法，包括：在处理器处从所述立体成像设备接收多个图像对，其中每个图像对包括由所述立体成像设备的第一传感器捕获的场景的第一图像和由所述立体成像设备的第二传感器捕获的所述场景的第二图像；在所述处理器处并且针对所述多个图像对中的每个图像对，计算相应行增量值，所述相应行增量值指示由所述第一传感器捕获的所述第一图像和由所述第二传感器捕获的所述第二图像之间沿水平轴的偏差；基于每个相应行增量值确定中值行增量值；基于所述中值行增量值确定所述第一图像和所述第二图像中的一个或多个特征中的相应视差集合；计算列增量值，所述列增量值等于基于所述相应视差集合中的每一个的中值视差值与预定视差值之间的差值，其中所述列增量值指示由所述第一传感器捕获的所述第一图像与由所述第二传感器捕获的所述第二图像之间沿垂直轴的偏差；以及使用所述中值行增量值和所述列增量值校准所述立体成像设备。2.根据权利要求1所述的方法，其进一步包括：在确定所述中值行增量值之前，使用初始行增量值生成第二相应视差集合；基于所述中值行增量值确定所述相应视差集合的第一质量测量；使用所述初始行增量值确定所述第二相应视差集合的第二质量测量；以及响应于确定所述第一质量测量大于所述第二质量测量，使用所述中值行增量值校准所述立体成像设备。3.根据权利要求1所述的方法，其中所述相应视差集合中的每个相应视差是图像对中的相应特征点，其进一步包括：在计算所述列增量值之前，对所述相应视差集合中的多个非移动特征进行聚类；以及基于所述多个非移动特征的视差计算所述中值视差值。4.根据权利要求3所述的方法，其中所述相应视差集合中的峰值视差值是在所述多个图像对中捕获的地板，并且其中对所述多个非移动特征进行聚类包括：从所述相应视差集合中选择与所述峰值视差值的阈值视差差值内的特征子集；针对每个相应特征，确定所述相应特征在所述多个图像对中出现的次数；以及响应于确定所述次数大于阈值次数，将所述相应特征包括在所述多个非移动特征中。5.根据权利要求1所述的方法，其中所述多个图像对中的每个图像对是相隔一段时间被捕获的。6.根据权利要求1所述的方法，其进一步包括：确定所述相应视差集合是否包括多于一个峰值视差值；以及响应于确定所述相应视差集合包括多于一个峰值视差值，选择不同的图像对并确定所述不同图像对的另一密集视差图以计算所述列增量值。7.根据权利要求1所述的方法，其中所述中值行增量值是每个相应行增量值的最小平均绝对误差(MMAE)估计。8.一种用于校准立体成像设备的装置，包括：存储器；以及
处理器，所述处理器与所述存储器进行通信并且被配置成：从所述立体成像设备接收多个图像对，其中每个图像对包括由所述立体成像设备的第一传感器捕获的场景的第一图像和由所述立体成像设备的第二传感器捕获的所述场景的第二图像；针对所述多个图像对中的每个图像对，计算相应行增量值，所述相应行增量值指示由所述第一传感器捕获的所述第一图像与由所述第二传感器捕获的所述第二图像之间沿水平轴的偏差；基于每个相应行增量值确定中值行增量值；基于所...

【专利技术属性】
技术研发人员：王芝芊，
申请(专利权)人：索博客科技有限责任公司，
类型：发明
国别省市：