相机标定制造技术

本文中描述了用于图像标定的技术。技术可包括检测图像的集合上的特征、描述图像的集合上的特征、确定图像集的特征之间的匹配、基于与所匹配的特征相关联的相机位置来确定关于所匹配的特征的移位、确定相机位置与所确定的移位之间的第一单应性以及基于三维特征回到相机的再投影来确定第二单应性。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求通过引用并入本文中的2014年9月26日提交的美国专利申请号14/498,801的提交日的权益，所述美国专利申请要求通过引用并入本文中的2014年9月5日提交的美国临时专利申请号62/046,788的提交日的权益。
本公开一般地涉及相机标定（cameracalibration）。更具体地，本公开描述在图像被捕获时执行的临时（adhoc）标定过程。
技术介绍
计算设备越来越多地包括一个或多个相机或其它类型的图像捕获设备，以使得用户能够捕获图像。例如，许多智能手机和平板计算设备包括可操作以在各种场景中捕获图像的相机。许多相机系统可在制造期间被标定。然而，由于相机系统公差，诸如位移、噪声和其它图像质量因素，在有规律的使用期间捕获图像时的运行中（on-the-fly）或临时的标定可以帮助维持弹性消费产品用于日常使用。附图说明图1是具有用以在计算设备处标定图像的标定应用的计算设备的框图；图2是图示在计算设备处执行的标定的过程流程图；图3是图示在相机设备的标定之前存在于捕获的图像中的特征的图；图4是图示在相机设备的标定之后存在于捕获的图像中的特征的图；图5是图示可在标定期间发生的对准校正的照片；图6是描绘被配置成标定图像捕获设备的计算机可读介质的示例的框图。具体实施方式本文中公开的主题涉及用于使用工厂标定数据作为每当在计算设备上使用深度相机系统时运行的主动（active）图像校正过程的一部分的技术。板载标定提供许多益处。例如，可根据基于实际场景的工厂设置来改善标定，使得差异导致可用图像。在某些方面，可使用从图像提取的特征来校正图像对准，使得它们被纠正。在某些方面，可提供场景深度估计以出于差异使参数选择自动化。在具有少量噪声和好的照明的场景中，临时标定可增加对相机旋转中的小改变和可能改变的给定相机的固有属性的纠正。图1是具有用以在计算设备处标定图像的标定应用的计算设备的框图。计算设备100可包括处理器102、包括非瞬时计算机可读介质的存储设备104，以及存储器设备106。计算设备100可包括被配置成操作显示设备110以在图形用户界面（GUI）处再现图像的显示驱动108、被配置成操作多相机系统115的一个或多个相机设备114的相机驱动112。计算设备100包括被配置成标定由相机设备114中的一个或多个捕获的图像的标定应用116的模块。如图1中所图示的那样，该模块包括特征模块118和单应性模块120。在某些实施例中，标定应用116包括纠正模块122、离群值模块124和重建模块126。模块118、120、122、124和126可以是至少部分地包括硬件逻辑的逻辑。在某些示例中，模块118、120、122、124和126可以是被配置成由诸如处理器102之类的处理设备执行的存储在存储介质上的指令。在又一示例中，模块118、120、122、124和126可以是硬件、软件和固件的组合。模块118、120、122、124和126可被配置成独立地、并行地、分布式地或作为较宽泛过程的一部分操作。模块120、122、124可以被认为是分离的模块或父模块的子模块。还可包括附加模块。在任何情况下，模块118、120、122、124和126被配置成执行操作。特征模块118被配置成检测图像的集合上的特征。图像的集合可以是从不同的相机设备114捕获的至少两个图像。在实施例中，图像的集合可以是从至少三个不同的相机设备114捕获的至少三个图像。特征模块118可使用特征检测算法来检测特征。例如，特征模块118可实现角点检测方法，诸如根据加速分段测试的特征（FAST）方法。特征模块118还被配置成描述图像的集合上的特征。特征是每个图像的信息项。可使用诸如快速视网膜关键点（FREAK）方法之类的特征描述符方法来实现每个特征的描述。一旦特征已经被检测和描述，为所有捕获的图像或图像集共有的特征就被匹配。在实施例中，使用蛮力匹配器和简单约束来执行匹配。单应性模块120被配置成基于用于捕获图像的集合中的图像的每个相机的相机位置来确定与所匹配的特征相关的移位（shift）。在投影几何中，单应性可以是由从其导出投影空间的向量空间的同构引起的投影空间的同构。单应性模块120可确定相机位置与所确定的移位之间的第一单应性。单应性模块120还可基于三维（3D）特征回到相机设备114的再投影来确定第二单应性。在某些实施例中，标定应用116包括纠正器模块122。纠正器模块122被配置成使用工厂标定数据。例如，纠正器模块122可用由制造商提供的原始单应性来纠正图像的集合。原始单应性可被存储在存储设备104上。可在特征模块118的特征检测之前执行纠正，以便增强标定的结果。在某些实施例中，标定应用118进一步包括离群值模块124。离群值模块124被配置成基于超过预定阈值的特征匹配角度来丢弃离群值。离群值模块124还可基于超过预定阈值的特征匹配大小来丢弃离群值。在用于捕获图像集的至少三个相机设备114的情况下，离群值模块124被配置成丢弃不在来自相机设备114中的至少三个的图像中发生的特征匹配。离群值模块124可被进一步配置成确定移位的规模（scale），其指示图像集之间的特征坐标的差除以与捕获的每个图像相关联的位移（displacement）。可能重要的是注意上面和/或下面讨论的模块可被实现为单个应用，两个或更多个模块可被组合以执行任何给定的操作。在某些实施例中，标定应用116包括重建模块126。重建模块126可被配置成重建在3D中检测到的特征，其中第二单应性是来自制造商标定的原始特征坐标与基于3D重建到一个或多个相机的再投影的特征坐标之间的单应性。在某些情况下，3D重建估计场景深度。上面讨论的标定在本文中可称为临时或运行中的标定。这参考在计算设备100处捕获图像时的标定的实现，而不仅仅依赖于由制造商执行的标定。在实施例中，计算设备100包括被配置成经由网络132将计算设备100连接到远程计算设备130的网络接口控制器128组件。在某些场景中，网络接口控制器128是被配置成通信地耦合到系统总线134的扩展卡。在其它场景中，网络接口控制器128可与诸如计算设备100之类的计算设备的母板一起被集成。在实施例中，标定应用116可被执行和/或存储在诸如远程计算设备130中的一个之类的远程计算设备上。例如，捕获的图像可以被发送到远程计算设备130，诸如具有类似于标定应用116的标定应用的服务器。可经由网络132将标定从远程计算设备130中的一个或多个提供给计算设备100。如本文中提到的那样，计算设备100可以是移动计算设备，其中诸如处理设备、存储设备和显示设备之类的组件被布置在单个外壳内。例如，计算设备100可以是平板计算机、智能手机、手持视频游戏系统、蜂窝电话、一体化平板计算设备或具有一体化功能的任何其它计算设备，其中计算设备的外壳容纳显示器以及诸如存储组件和处理组件之类的组件。处理器102可以是被适配成执行存储的指令的主处理器。处理器102可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。处理器102可被实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理本文档来自技高网...

【技术保护点】
一种用于图像标定的系统，包括：处理设备；以及要由处理设备实现的模块，模块包括特征模块，其用以：检测图像的集合上的特征；描述图像的集合上的特征；确定图像集的特征之间的匹配；以及单应性模块，其用以：基于相关联的相机位置，确定关于所匹配的特征的移位；确定相机位置与所确定的移位之间的第一单应性；基于三维特征回到相机的再投影，确定第二单应性。

【技术特征摘要】
【国外来华专利技术】2014.09.05 US 62/046788;2014.09.26 US 14/4988011.一种用于图像标定的系统，包括：处理设备；以及要由处理设备实现的模块，模块包括特征模块，其用以：检测图像的集合上的特征；描述图像的集合上的特征；确定图像集的特征之间的匹配；以及单应性模块，其用以：基于相关联的相机位置，确定关于所匹配的特征的移位；确定相机位置与所确定的移位之间的第一单应性；基于三维特征回到相机的再投影，确定第二单应性。2.根据权利要求1所述的系统，进一步包括被配置成用来自制造标定的原始单应性来纠正图像的集合的纠正器模块，其中在特征模块的特征检测之前执行纠正。3.根据权利要求1-2的任何组合所述的系统，其中图像集中的图像包括每个在包括至少三个相机的不同相机处捕获的图像。4.根据权利要求1-2的任何组合所述的系统，其中图像集中的图像包括在被布置在不同位置处的单个相机处捕获的图像。5.根据权利要求1-2的任何组合所述的系统，进一步包括离群值模块，其被配置成：基于超过预定阈值的特征匹配角度，丢弃离群值；以及基于超过预定阈值的特征匹配大小，丢弃离群值。6.根据权利要求5所述的系统，其中离群值模块被进一步配置成在特征匹配发生在少于三个相机上的情况下丢弃离群值。7.根据权利要求5所述的系统，其中离群值模块被进一步配置成确定移位的规模，所述移位的规模指示图像集之间的特征坐标的差除以与捕获的每个图像相关联的位移。8.根据权利要求1-2的任何组合所述的系统，进一步包括重建模块，其被配置成在三维中重建检测到的特征，其中第二单应性是来自制造商标定的原始特征坐标与基于三维重建到一个或多个相机的再投影的特征坐标之间的单应性。9.根据权利要求8所述的系统，其中三维重建估计场景深度。10.根据权利要求1-2的任何组合所述的系统，其中在图像被捕获时模块是临时可操作的。11.一种用于图像标定的方法，包括：检测图像的集合上的特征；描述图像的集合上的特征；确定图像集的特征之间的匹配；基于与所匹配的特征相关联的相机位置，确定关于所匹配的特征的移位；确定相机位置与所确定的移位之间的第一单应性；以及基于三维特征回到相机的再投影，确定第二单应性。12.根据权利要求11所述的方法，进一...

【专利技术属性】
技术研发人员：M梅罗恩，DC米德尔顿，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US