计测系统、计测方法及视觉芯片技术方案

计测系统(100)具有：投影装置(102)，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，该第1图案投影图像包括第1图案图像和第2图案图像，第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，第2图案图像具有与第1图案图像相同的周期，而且具有与第1图案图像不同的相位；以及至少一个摄像装置(101)，拍摄被投影于被摄体的第1图案光并生成摄像图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及计测系统、计测系统使用的计测方法及视觉芯片。
技术介绍
从很久以前就知道利用结构灯取得物体的3D形状的方法。例如，专利文献1公开了这种技术。现有技术文献专利文献专利文献1：日本特开昭60－152903号公报非专利文献非专利文献1：武井丈治、鏡慎吾、橋本浩一：“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発”、ロボティクス·メカトロニクス講演会講演概要集2007、“1P1-M02(1)”-“1P1-M02(4)”、2007-05-11非专利文献2：石井抱、石川正俊：“1msビジュアルフィードバックシステムのための高速対象追跡アルゴリズム”、日本ロボット学会誌、Vol.17、No.2、pp.195-201(1999)
技术实现思路
对于上述以往的计测系统，要求进一步提高对物体的运动的追踪性和鲁棒性。本专利技术非限定性地示例的一个方式能够提高对物体的运动的追踪性和鲁棒性。本专利技术的一个方式的附加的优点及有利之处根据本说明书及附图得到明确。该优点及/或有利之处能够根据本说明书及附图所公开的各种方式及特征单独地提供，为得到其中一个以上的优点及/或有利之处不一定需要所有方式及特征。本专利技术的一个方式的计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。另外，这些总体的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的记录介质来实现，还可以以装置、系统、方法、集成电路、计算机程序及计算机可读的记录介质的任意组合来实现。计算机可读的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性记录介质。根据本专利技术，能够提高对物体的运动的追踪性和鲁棒性。附图说明图1是表示示例性的实施方式1的计测系统100的概略结构例的示意图。图2A是表示5bit的葛莱码表的图。图2B是表示与5bit的葛莱码对应的5bit的辅助码表的图。图3是表示与5bit的葛莱码对应的图案图像的一部分的概念图。图4是示例性的实施方式1的计算设备的概略功能框图。图5是表示示例性的实施方式1的计测系统的计测方法的流程图。图6A是以往的三维计测的投影流程的图。图6B是表示示例性的实施方式1的投影流程的图。图7是表示取得X坐标的0bit的数据时的投影帧的状态的图。图8A是表示以往的CMOS图像传感器内的单位像素的构造的示意图。图8B是示意地表示图8A的单位像素内的数据流动的概念图。图8C是表示示例性的实施方式2的视觉芯片内的单位像素的构造的示意图。图8D是示意地表示图8C的单位像素内的数据流动的概念图。图9是表示示例性的实施方式2的视觉芯片的动作的流程图。图10是表示以往的计测系统的概略结构例的示意图。具体实施方式在说明本专利技术的实施方式之前，首先参照图10说明专利文献1公开的以往的计测系统800。计测系统800具有摄像装置801、光源802和狭缝板803。狭缝板803设定了具有基于各种葛莱码的不同图案的狭缝，如表示葛莱码的图案803a、803b和803c。摄像装置801拍摄与图案803a、803b和803c分别对应的光，分别生成图像805a、805b和805c。由图像805a、805b和805c构成图像组805。根据该结构，通过对葛莱码进行解码，能够唯一地确定图像组805中包含的3张图像的相同明暗度的图案是基于经由狭缝板803向哪个方向出射的来自光源802的光。因此，能够确定根据到被摄体804的距离而产生的视差，能够利用三角法类推被摄体804的三维形状。另外，在计测领域中，除专利文献1以外，还公知有非专利文献1公开的使用光图案投影的高速3D形状计测的方法。非专利文献1公开了使用光图案投影高速计测3D形状的方法。非专利文献1的计测系统包括摄像装置、以及具有光源和透镜和数字微镜器件的投影装置。摄像装置具有进行高速摄影的功能。例如，摄像装置能够以6000fps进行高速摄影。投影装置能够以6000fps以上投影具有1024×768的像素的二维图像(binary pattern)。可以说非专利文献1的特征在于，将专利文献1的技术的光源及狭缝板替换为投影装置，该投影装置具有能够利用计算机以非常高速的速率进行控制的数字微镜器件。具体而言，数字微镜器件以6000fps设定对将1024×768的图像的X坐标葛莱码化后的各个比特进行曼彻斯特编码而得到的图案。将该图案投影于投影对象上，摄像装置以6000fps拍摄被投影了图案的投影对象。X坐标在0～1023的范围内，因而各个坐标用10bit表示。另外，通过曼彻斯特编码，各个坐标能够用20bit表示。因此，从20帧的摄像图像得到各个X坐标。并且，能够利用三角法按照每个像素获得到投影对象的距离。将摄像结果传输给计算装置(例如个人电脑)进行分析。通过曼彻斯特编码对每2帧获得新的X坐标的比特，并进行再计算。因此，作为最终的生产率(through-put)，能够以3000fps的分辨率进行3D计测。另外，公知有非专利文献2公开的针对高速视觉空间的图像处理技术。根据非专利文献2，构建了这样的图像处理算法，如果以相对于摄像空间的系统动态足够快的帧率进行拍摄，则能够定义在摄像像素空间内将帧间的对象物体的运动量限定为1像素以下的高速视觉空间。下面，说明所研究的现有技术的问题点。非专利文献1启示了使用投影装置和摄像装置以高帧率三维计测移动物体的可行性。但是，根据非专利文献1的方法，例如在投影装置的投影图像在X坐标方向具有1024像素的情况下，X坐标的10比特量的传输将使用20帧。的确，每当新的比特确定时，新的三维计测的结果就被更新，因而能够以3000fps的速率进行三维计测。但是，其结果是包含基于6000fps的摄像的20帧前的结果，因而实质上的时间分辨率约是投影速率的1/20即300fps。其结果是，实际上能够计测的被摄体的移动速度大受限制。鉴于这样的问题，想到了具有新的构造的计测系统、以及该计测系统使用的计测方法及视觉芯片。根据本专利技术，以足以应对计测对象的被摄体的移动速度的方式限定投影装置和摄像装置的帧率。因此，提供改善对运动的追踪性和鲁棒性的新的图案的编码方式。例如，在计测人体的情况下，假定是体育等运动中的被摄体的运动时，也大致不会产生超过秒速30米的移动。并且，如果是以医疗的诊断目的计测人体时等，能够将被摄体速度限定为更低速。另外，假定在娱乐设施等中是投影映射的交互式的投影。此时，例如当在保龄球场进行与保龄球联动的内容投影的情况下，即使是世界纪录，保龄球的速度也大约是秒速15米。这意味着即使是按照用途限制被摄体速度的范围，系统也能够正常发挥作用。本专利技术的一个方式的概要情况如下所述。本专利技术的一个方式的计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，本文档来自技高网...

【技术保护点】
一种计测系统，该计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。

【技术特征摘要】
【国外来华专利技术】2014.03.06 JP 2014-043467;2014.11.27 JP 2014-240111.一种计测系统，该计测系统具有：投影装置，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，所述第1图案投影图像包含所述第1图案图像和所述第2图案图像，所述第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第1图案图像相同的周期，而且具有与所述第1图案图像不同的相位；以及至少一个摄像装置，拍摄所述第1图案光并生成摄像图像。2.根据权利要求1所述的计测系统，所述计测系统还具有运算装置，该运算装置根据所述摄像图像计测所述被摄体的三维形状信息。3.根据权利要求2所述的计测系统，所述投影装置在将表示第2图案投影图像的第2图案光以1帧以上的期间投影在所述被摄体上之后，将所述第1图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含所述第1图案图像、但不包含所述第2图案图像，所述运算装置根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，并根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第1图案光的摄像图像，计测表示所述被摄体的相对变化量的第1三维形状信息，根据所述第1三维形状信息更新所述第2三维形状信息。4.根据权利要求3所述的计测系统，所述第1图案投影图像还包括与所述第1及第2图案图像不同的第3图案图像，所述投影流程还包括所述第3图案图像的投影，当关注于在所述第1、第2及第3图案图像之间相互对应的、由所述投影坐标确定的某个像素时，在所述第1及第2图案图像内的所述某个像素的像素值都是1时，所述第3图案图像内的所述某个像素的像素值是0，在所述第1及第2图案图像内的所述某个像素的像素值都是0时，所述第3图案图像内的所述某个像素的像素值是1。5.根据权利要求4所述的计测系统，在所述第1及第2图案图像内的所述某个像素的像素值相互不同时，所述第3图案图像内的所述某个像素具有0或者1之中的、在所述第3图案图像的过去的帧中出现频次低的一方的值。6.根据权利要求2所述的计测系统，所述运算装置按照所述被摄体的三维变化量有选择地切换是否将所述第2图案图像的投影混合在所述投影流程中。7.根据权利要求2所述的计测系统，所述运算装置按照所述被摄体的三维变化量有选择地决定所述葛莱码的特定的比特。8.根据权利要求2所述的计测系统，所述运算装置与所述被摄体的三维形状的计测相独立地搜索二维的运动量，参照所述二维的运动量对由所述至少一个摄像装置拍摄的表示所述葛莱码的图像进行解码。9.根据权利要求2所述的计测系统，在所述二维的运动量的搜索中使用的图像，是通过将从所述三维形状的计测所取得的多个图像合成而得到的。10.根据权利要求2所述的计测系统，所述...

【专利技术属性】
技术研发人员：渕上竜司，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国;US