校准照相机的计算机实现方法技术

一种对照相机进行校准的计算机实现方法，包括以下步骤：a.采集来自所述照相机(CAM)的视频流，并且将所述视频流显示在屏幕(DY)上；b.在所述屏幕上显示被叠加到所述视频流上的目标区(102)的表示；c.检测所述视频流中的校准图案(100)并周期性地检查所述校准图案是否适配到所述目标区内；d.在发现所述校准图案适配到所述目标区内时，从所述视频流提取出所述校准图案的图像；使用对应于携带所述校准图案的物理支撑物(101)的不同位置的相应的目标区将所述步骤a.到步骤d.重复执行多次；并且然后e.通过处理所存储的图像来估计所述照相机的固有校准参数。用于实施这种方法的计算机程序产品、计算机可读数据存储介质和计算机系统。

【技术实现步骤摘要】
校准照相机的计算机实现方法
本专利技术涉及用于校准照相机的计算机实施方法。更确切地说，本专利技术涉及数字照相机的“固有”校准，即，涉及对参数的估计，从而确定其光学响应，包括焦距、主点和任选的失真参数。
技术介绍
本专利技术适用于(例如)增强现实(AR)领域，其中，将表示虚拟对象的计算机生成的3D图像叠加在摄像机拍摄的图像顶上。为了使虚拟图像和真实图像按照最逼真的方式融合，需要对摄像机进行准确的校准。实际上，AR必需定义用于渲染虚拟3D对象的虚拟照相机。该虚拟照相机必须尽可能密切地匹配用于拍摄在背景中渲染的真实世界的真实照相机。照相机制造商提供的数据通常未能准确到给出令人满意的结果，因而必须借助于校准。照相机校准都是关于准确性。如果没有良好校准的照相机，渲染的对象就不会使它们看起来是真实的，并且破坏了用户体验。增强现实是要求特别严格的应用，但其并非是唯一一个需要准确的照相机校准的应用。其它应用包括(例如)3D体积重建，在这种情况下，照相机通常是深度照相机。本专利技术不限于一个或几个具体应用；只要需要摄像机的准确校准就可以使用本专利技术。已知用于执行照相机校准的最为普遍的技术是张氏算法并且在Z.Zhang的文章"AFlexibleNewTechniqueforCameraCalibration"IEEETransactionsonPatternAnalysisandMachineIntelligence.Vol.22,No.11,2000,pp.1330–1334中描述。为了使用该技术校准照相机，用户必须：1.使用激光打印机打印校准图案(通常是黑白元素的规则排列)；2.测量打印的图案，以确保其尺寸未被打印机缩放；3.将该图案粘到刚性表面上，例如粘到刚性卡纸板、一块木头或者更好的是粘到玻璃上，以确保该图案保持平直(例如，通过检查纸和图案之间没有气泡)；4.将图案定位在照相机前面并使其四处移动，以改变其取向和位置；5.拍摄对应于该图案的几个不同位置和取向(“姿态”)的图像；以及6.根据在上面提及的文章中详细描述的数学算法对图像进行处理。处理步骤本身可以容易地使用现有软件来实施。制造校准图案可能是繁冗的，但其并不是特别困难。实际上，校准过程的最为困难并且耗时的部分是由步骤4和步骤5构成的，即，定位图案以及采集该图案的适当图像组。实际上，很难在考虑良好的图像分布的同时拍摄该图案的很多不同图片：图像太少将导致不正确的或者至少不准确的照相机校准，而类似姿态的图像太多则可能在参数估计中造成偏差。此外，存在图像中的很大份额变得不可被校准算法利用的风险，例如因为图案的一部分不可见，缩小了校准组的尺寸。因此，一般的建议是拍摄尽可能多的图片，希望在所述过程中使误差和偏差被平均化。而且，校准缺乏可重复性：两个用户对同一照相机进行校准(或者同一用户对照相机校准两次)将使用不同的姿态组，因此将得到略有不同的校准参数。文献US8106968还描述了通过检测图案的多个图像中的畸变来校准照相机的方法。在没有富有经验的人指导的情况下，初学者用户将经常以不准确的照相机校准而告终，浪费了时间，并且产生挫败感。而且，一个人很难单独执行校准。很多时候至少需要两个人：一个人使图案按照所需的姿态保持在照相机前面，而另一个人通过例如按下按键来触发图像的采集。一个人尝试同时执行两项任务可能最终导致在触发图像采集时偶然使图案发生移动。
技术实现思路
本专利技术的目的在于解决现有技术的这些缺陷。其实现该目标的方式是提供照相机校准“向导”，即软件助手，其引导用户进行复杂的照相机校准过程。本专利技术不使用户拍摄尽可能多的姿态的图片并且之后舍弃被认为无效或者多余的图片，而是为用户提供预定的一组要求姿态，该组姿态通过计算机屏幕上顺次显示的目标区而实现。通过屏幕提供的视觉反馈帮助用户使实际校准图案与所显示的目标区对准；软件检测校准图案何时与当前显示的目标区正确对准，尔后再采集其图像，并且之后显示接下来的目标区。一旦显示了所有与相应姿态相关联的预定目标区并且采集了对应的图案图像，就可以像在现有技术中一样运行校准算法(步骤6)，只是有了使用适当的(通常为最佳或接近最佳的)校准组的保障。可以使用张氏算法或者任何其它适当方法执行适当校准。本专利技术简化并且加速了校准过程，同时改善了其质量、可靠性和可重复性：-通过保持对校准姿态和过程的完全控制，保证了各姿态是不同的，并且将针对所述姿态中的每者很好地检测图案。反过来，这可以确保校准结果是可靠的，并且校准质量是可预测的。-用户预先知道在过程结束之前剩下多少步骤，从而避免挫败感。-在图案处于正确的位置上(其与目标区适配)时自动触发图像采集，从而允许单个用户以最低的错误风险执行校准。-由于姿态是由执行校准的计算机系统预定和建议的，因而用户不必具有任何特定的专门知识，并且校准的准确度在很大程度上是用户独立的。-姿态的数量可以是相当低的，例如处于10和20之间，本专利技术人凭经验发现11个适当选择的姿态允许以0.01°的准确度校准照相机的焦距。因此，整个姿态采集过程可以仅用几分钟。那么本专利技术的目的是校准照相机的计算机实现方法，其包括以下步骤：a.由所述照相机采集视频流，并在屏幕上显示视频流；b.在屏幕上显示叠加到视频流上的目标区的表示；c.检测视频流中的校准图案并周期性地检查其是否适配到目标区内；d.在发现校准图案适配到目标区内时，从视频流提取校准图案的图像并存储该图像；使用互不相同并且对应于携带校准图案的物理支撑物在照相机的视场内的不同位置的相应的目标区将所述步骤a.到d.重复执行多次；并且之后e.通过处理所存储的图像来估计照相机的固有校准参数。根据本专利技术的特定实施例：-所述步骤c.可以包括检查校准图案是否至少填充了目标区的预定份额。-所述步骤c.可以包括检测校准图案的至少一个边缘并检查其与目标区的对应边缘的平行性。-所述步骤c.可以包括检测校准图案的至少两个边缘，测量所述边缘之间的角度，并将其与目标区的两个对应边缘之间的角度进行比较。-所述步骤c.可以包括检测校准图案的至少一个角，并检查其与目标区的对应角的接近度。-所述方法还包括在所述屏幕上显示至少一个图形图案的步骤c'，所述至少一个图形图案指示以下至少其中之一：校准图案的点和目标区的对应点之间的距离；使校准图案的点与目标区的对应点重合所需的平移的方向；以及校准图案的几何元素和目标区的几何元素之间的对应性。-可以使用对应于所述物理支撑物的不同位置的相应的目标区将步骤a.到d.重复执行包括在10和20之间的次数。-物理支撑物的所述位置中的至少大多数位置可以既不与照相机的光轴垂直也不与之平行。-所述校准图案可以是平面图案。-可以使用张氏算法实施所述步骤e.。本专利技术的另一目的是一种存储在计算机可读数据存储介质上的计算机程序产品，其包括用于使与照相机接口连接的计算机系统执行这种方法的计算机可执行指令。本专利技术的另一目的是一种计算机可读数据存储介质，其包含用于使与照相机接口连接的计算机系统执行这种方法的计算机可执行指令。本专利技术的又一目的是一种计算机系统，其包括耦合至存储器的处理器、屏幕和照相机，所述存储器存储使所述计算机系统通过实施这种方法而对照相机进行校准的计算机可执行指令。附图说明结合附图根据下面的描述，本专利技术的额外的本文档来自技高网...

【技术保护点】
一种对照相机进行校准的计算机实现方法，包括以下步骤：a.采集来自所述照相机(CAM)的视频流，并且将所述视频流显示在屏幕(DY)上；b.在所述屏幕上显示被叠加到所述视频流上的目标区(102)的表示；c.检测所述视频流中的校准图案(100)并周期性地检查所述校准图案是否适配到所述目标区内；d.在发现所述校准图案适配到所述目标区内时，从所述视频流提取出所述校准图案的图像并存储所述图像；使用互不相同的相应的目标区将所述步骤a.到步骤d.重复执行多次，每一个目标区对应于当携带所述校准图案的物理支撑物(101)占据照相机的视场内的相应位置时由所述照相机看到的所述校准图案的轮廓；并且然后e.通过处理所存储的图像来估计所述照相机的固有校准参数。

【技术特征摘要】
2016.06.28 EP 16305777.11.一种对照相机进行校准的计算机实现方法，包括以下步骤：a.采集来自所述照相机(CAM)的视频流，并且将所述视频流显示在屏幕(DY)上；b.在所述屏幕上显示被叠加到所述视频流上的目标区(102)的表示；c.检测所述视频流中的校准图案(100)并周期性地检查所述校准图案是否适配到所述目标区内；d.在发现所述校准图案适配到所述目标区内时，从所述视频流提取出所述校准图案的图像并存储所述图像；使用互不相同的相应的目标区将所述步骤a.到步骤d.重复执行多次，每一个目标区对应于当携带所述校准图案的物理支撑物(101)占据照相机的视场内的相应位置时由所述照相机看到的所述校准图案的轮廓；并且然后e.通过处理所存储的图像来估计所述照相机的固有校准参数。2.根据权利要求1所述的计算机实现方法，其中，所述步骤c.包括检查所述校准图案是否至少填充了所述目标区的预定份额。3.根据前述权利要求中的任何一项所述的计算机实现方法，其中，所述步骤c.包括检测所述校准图案的至少一个边缘(202)，并检查其与所述目标区的对应边缘(201)的平行性。4.根据前述权利要求中的任何一项所述的计算机实现方法，其中，所述步骤c.包括检测所述校准图案的至少两个边缘，测量所述边缘之间的角度，并将所述角度与所述目标区的两个对应边缘之间的角度进行比较。5.根据前述权利要求中的任何一项所述的计算机实现方法，其中，所述步骤c.包括检测所述校准图案的至少一个角(206)，并检查其与所述目标区的对应角(205)的接近度。6.根据前述权利要求中的...

【专利技术属性】
技术研发人员：F·多加尼斯，
申请(专利权)人：达索系统公司，
类型：发明
国别省市：法国,FR