用于相机标定的交叉光谱特征映射制造技术

一种方法包括由对第一光谱敏感的第一相机捕获真实世界场景的第一图像，所述第一相机具有第一光源；由对第二光谱敏感的第二相机捕获所述真实世界场景的第二图像，所述第二相机具有第二光源；识别所述第一图像中的至少一个特征；使用机器学习(ML)模型识别所述第二图像中与所述第一图像中的识别出的所述至少一个特征匹配的至少一个特征；基于经匹配的至少一个特征来将所述第一图像和所述第二图像中的像素映射到三维(3D)空间中的光线；并且基于所述映射来标定所述第一相机和所述第二相机。述映射来标定所述第一相机和所述第二相机。述映射来标定所述第一相机和所述第二相机。

【技术实现步骤摘要】
【国外来华专利技术】用于相机标定的交叉光谱特征映射


[0001]实施例涉及两个或更多个相机的几何标定。

技术介绍

[0002]几何相机标定是确定相机或相机集合的位置和内部参数(例如，焦距)的过程。几何标定提供三维(3D)空间中相机像素与光线之间的映射。通过在不同的相机视图中找到与真实世界场景中的同一点相对应的像素对并调整每个相机的内部参数以对齐像素对来确定标定(例如，第一相机的图像中的像素和第二相机的图像中的像素在真实世界场景中映射为同一者。

技术实现思路

[0003]在一般方面，装置、系统、非暂时性计算机可读介质(其上存储有可以在计算机系统上执行的计算机可执行程序代码)和/或方法可以使用包括以下操作的方法执行过程：通过对第一光谱敏感的第一相机捕获真实世界场景的第一图像，所述第一相机具有第一光源；通过对第二光谱敏感的第二相机捕获真实世界场景的第二图像，所述第二相机具有第二光源；识别所述第一图像中的至少一个特征；使用机器学习(ML)模型识别所述第二图像中与所述第一图像中识别的所述至少一个特征匹配的至少一个特征；基于经匹配的至少一个特征将所述第一图像和所述第二图像中的像素映射到三维(3D)空间中的光线；并且基于所述映射标定所述第一相机和所述第二相机。
[0004]实施方案可以包括以下特征中的一个或多个。例如，第一相机可以是近红外(NIR)相机，并且第二相机可以是可见光相机。ML模型可以用于识别第一图像中的至少一个特征。算法可以用于识别第一图像中的至少一个特征。ML模型可以用于将第一图像中的至少一个特征与第二图像中的至少一个特征匹配，并且可以基于第二图像的至少一个像素与第一图像中的至少一个特征的像素匹配的可能性而为第二图像的至少一个像素指派分数。算法可以用于将第一图像中的至少一个特征与第二图像中的至少一个特征匹配，可以基于第二图像的至少一个像素与第一图像中的至少一个特征的像素匹配的可能性而为第二图像的至少一个像素指派分数并且可以基于目标像素的位置的预测而为第二图像的至少一个像素指派方向。
[0005]算法可以用于识别第一图像中的至少一个特征，并且将第一图像中的至少一个特征与第二图像中的至少一个特征匹配可以包括使用第一ML模型从第一图像中的至少一个特征中选择候选特征；将第二图像中的至少一个像素与候选特征的像素匹配；基于至少一个像素与第一图像中的至少一个特征中的一个匹配的可能性而将分数指派到第二图像的匹配的至少一个像素；使用第二ML模型预测目标像素的位置的方向；以及将方向指派到第二图像的匹配的至少一个像素。第一相机和第二相机的标定可以基于具有最高分数的、与候选特征相关联的第二图像的匹配的至少一个像素以及具有最高分数的第二图像的匹配的至少一个像素的方向，所述方向基于具有最高分数的第二图像的匹配的至少一个像素和
相邻像素。所述方法可以进一步包括基于先前标定在第二图像中选择至少一个搜索窗口。机器学习模型可以在从标定的多相机系统捕获的数据上进行训练。
附图说明
[0006]根据下文给出的具体实施方式和附图，示例实施例将更充分地得到理解，其中相同的元件由相同的附图标记表示，这些附图标记仅通过示意的方式给出，因此不限制示例实施例，并且其中：
[0007]图1A示意根据至少一个示例实施例的相机和场景的图。
[0008]图1B示意根据至少一个示例实施例的场景的一部分的二维(2D)图。
[0009]图1C和图1D示意根据示例实施方案的相机传感器。
[0010]图1E和图1F示意根据至少一个示例实施例的表示图像的一部分的2D坐标系。
[0011]图1G示意根据至少一个示例实施例的、表示图1E的2D坐标系和图1F的2D坐标系的重叠的2D坐标系。
[0012]图1H示意根据至少一个示例实施例的、表示在相机标定过程之后的图1E的2D坐标系和图1F的2D坐标系的重叠的2D坐标系。
[0013]图1I示意根据至少一个示例实施例的在相机标定之后的真实世界场景3D坐标系。
[0014]图2示意根据至少一个示例实施例的数据流的框图。
[0015]图3示意根据至少一个示例实施例的电话会议系统的框图。
[0016]图4示意根据至少一个示例实施例的用于标定相机的方法的框图。
[0017]图5示意根据至少一个示例实施例的用于匹配像素的方法的框图。
[0018]图6示出真实世界场景中的点的图形表示。
[0019]图7示出根据至少一个示例实施例的计算机装置和移动计算机装置的示例。
[0020]应注意，这些图旨在示意在某些示例实施例中使用的方法、结构和/或材料的一般特性并且补充以下提供的书面描述。然而，这些图不按比例绘制，并且可能不准确地反映任何给定实施例的精确结构或性能特性，并且不应被解释为定义或限制示例实施例所涵盖的值或属性的范围。例如，为了清楚起见，可以减小或夸大分子、层、区域和/或结构元件的相对厚度和定位。在各附图中使用类似或相同附图标记旨在指示类似或相同元件或特征的存在。
具体实施方式
[0021]在包括对光谱的不同部分敏感的相机的系统中，几何相机标定的特征匹配能够是有困难的。例如，在包括可见光和近红外(NIR)相机的混合物的系统中。特征匹配能够是有困难的，因为对象的视觉外观在不同的光谱中能够非常不同。在光照条件在不同光谱中不同的情况下，这个问题可能会加剧，因为真实世界场景中的点的外观可能会随着入射光照而显著变化。混合光谱相机系统的标定通常需要使用专门设计的标定目标，这些标定目标具有跨光谱的不同部分可容易检测到的基准标记。
[0022]在使用时需要最少技术支持的系统(例如，三维(3D)电话会议系统)中，使用标定目标可能是不可取的。本文描述的示例实施方案使用例如基于机器学习(ML)的方法来解决在例如可见光图像与近红外(NIR)图像之间寻找匹配特征点的问题。可以在NIR图像中选择
候选特征集合。候选特征可以表示可能易于精确定位的像素(例如，角部、过渡、斑点等)。对于每个候选特征，在目标红
‑
绿
‑
蓝(RGB)图像中定义搜索窗口。可以使用ML模型(例如，神经网络)评分函数为搜索窗口内的每个RGB像素指派分数，所述评分函数将高分数指派给有可能对应于候选NIR特征的像素，而在其它像素指派低分数。
[0023]第二ML模型(例如，第二神经网络)可以用于预测搜索窗口中每个像素的精确匹配的位置(例如，x,y位置)。搜索窗口中每个像素的估计偏移(例如，精确匹配的位置(例如，精确匹配像素的位置)沿着图像x和y轴离当前RGB像素多远的预测。如果发现搜索窗口中的RGB像素具有足够高的分数(例如，极有可能匹配)，则可以对RGB像素及其相邻像素的估计偏移进行平均，以找到目标匹配像素位置并创建NIR到RGB匹配。第一和第二ML模型可以使用从标定良好的多相机系统捕获的数据训练，其中可以精确地确定NIR和RGB相机之间的正确匹配特征对。
[0024]图1A示意根据至少一个示例实施例的相机和场景的图。图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由对第一光谱敏感的第一相机捕获真实世界场景的第一图像，所述第一相机具有第一光源；由对第二光谱敏感的第二相机捕获所述真实世界场景的第二图像，所述第二相机具有第二光源；识别所述第一图像中的至少一个特征；使用机器学习ML模型识别所述第二图像中与所述第一图像中的识别出的所述至少一个特征匹配的至少一个特征；基于经匹配的至少一个特征来将所述第一图像和所述第二图像中的像素映射到三维3D空间中的光线；以及基于所述映射来标定所述第一相机和所述第二相机。2.根据权利要求1所述的方法，其中，所述第一相机是近红外NIR相机，并且所述第二相机是可见光相机。3.根据权利要求1或权利要求2所述的方法，其中，使用ML模型来识别所述第一图像中的所述至少一个特征。4.根据权利要求1至权利要求3中任一项所述的方法，其中，使用算法来识别所述第一图像中的所述至少一个特征。5.根据权利要求1至权利要求4中任一项所述的方法，其中，使用ML模型来将所述第一图像中的所述至少一个特征与所述第二图像中的所述至少一个特征匹配，并且基于所述第二图像的至少一个像素与所述第一图像中的所述至少一个特征的像素匹配的可能性来对所述第二图像的所述至少一个像素指派分数。6.根据权利要求1至权利要求5中任一项所述的方法，其中，使用算法来将所述第一图像中的所述至少一个特征与所述第二图像中的所述至少一个特征匹配，基于所述第二图像的至少一个像素与所述第一图像中的所述至少一个特征的像素匹配的可能性来对所述第二图像的所述至少一个像素指派分数，并且基于目标像素的位置的预测来对所述第二图像的所述至少一个像素指派方向。7.根据权利要求1至权利要求6中任一项所述的方法，其中，使用算法来识别所述第一图像中的所述至少一个特征，并且所述第一图像中的所述至少一个特征与所述第二图像中的所述至少一个特征的所述匹配包括：使用第一ML模型从所述第一图像中的所述至少一个特征中选择候选特征，将所述第二图像中的至少一个像素与所述候选特征的像素匹配，基于所述至少一个像素与所述第一图像中的所述至少一个特征中的一个特征匹配的可能性来将分数指派给所述第二图像的经匹配的至少一个像素，使用第二ML模型预测目标像素的位置的方向，以及将所述方向指派给所述第二图像的经匹配的至少一个像素。8.根据权利要求7所述的方法，其中，对所述第一相机和所述第二相机的所述标定是基
于具有最高分数的、与所述候选特征相关联的所述第二图像的经匹配的至少一个像素以及具有所述最高分数的所述第二图像的经匹配的至少一个像素的所述方向，所述方向是基于具有所述最高分数的所述第二图像的经匹配的至少一个像素和相邻像素。9.根据权利要求1至权利要求8中任一项所述的方法，进一步包括基于先前标定来在所述第二图像中选择至少一个搜索窗口。10.根据权利要求1至权利要求9中任一项所述的方法，其中，所述机器学习模型是在从标定的多相机系统捕获的数据上进行训练的。11.一种三维3D电话会议系统，包括：存储器，所述存储器包括表示多个计算机指令的代码段；以及处理器，所述处理器被配置成执行所述代码段，所述计算机指令包括：由对第一光谱敏感的第一相机捕获真实世界场景的第一图像，所述第一相机具有第一光源；由对第二光谱敏感的第二相机捕获所述真实世界场景的第二图像，所述第二相机具有第二光源；识别所述第一图像中的至少一个特征；使用机器学习ML模型识别所述第二图像中与所述第一图像中的识别出的所述至少一个特征匹配的至少一个特征；基于经匹配的至少一个特征来将所述第一图像和所述第二图像中的像素映射到三维3D空间中的光线；以及基于所述映射来标定所述第一相机和所述第二相机。12.根据权利要求11所述的系统，其中，所述第一相机是近红外NIR相机，并且所述第二相机是可见光相机。13....

【专利技术属性】
技术研发人员：苏普瑞思，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：