标记图像处理系统技术方案

通过比较图像上的平面标识(2)的配置和预先设定的平面标识(2)的配置，从而由第一推定单元推定相对于标记的摄像机的位置和姿势。在标记上配置一处立体标识(3)，基于相对于平面标识(2)的配置、高度以及所推定的相对于标记的摄像机的位置，通过第二推定单元推定摄像机的图像上的立体标识(3)的上表面以及下表面的中央位置。基于从摄像机观察的三维矢量，比较所推定的立体标识(3)的上表面以及下表面的中央位置和从图像检测出的它们的位置，其误差为规定值以上时，基于由第一推定单元推定的姿势，在使相对于平板型标记的摄像机视线角度的符号反转之后，进行旋转变换。如此，通过配置于平板标识(2)的一处立体标识(3)，仅按照一定的规则对摄像机的姿势数据进行变换，就能够简单地进行修正。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于对标记进行图像处理并提取各种信息的标记图像处理系统。
技术介绍
这样的标记在AR(AugmentedReality：增强现实)、局部部位的计测领域，进一步地在机器人
，被用于摄像机对物体的位置或姿势进行识别，一般广泛采用的是能粘贴于作为对象的物体的、具备平面图案的平板型的标记。例如，在今后的服务机器人的实用化时，在构筑辅助由服务机器人进行的可靠的自主工作的系统方面，标记是必不可少的要素。标记中具有代表性的标记包含正方形的黑色框、印刷于其内部的二维图案以及代码(code)。然后，通过用摄像机识别标记，能识别相对于标记的摄像机的相对位置和姿势，并识别带有标记的物体的位置或姿势。此外，还能通过摄像机读取存储于标记的信息。图1示出了通常使用的ARToolKit标记、ARTag标记、CyberCode标记以及ARToolKitPlus标记的例子。此外，除了这样的标记以外，也可以利用QRCode这样的能存储更多信息的标记。例如，在AR领域中，对于现实世界的图像，使CG(ComputerGraphics：计算机图形)的模型与现实世界的图像中的物体所带的AR标记的位置对齐并重叠地进行显示。此外，在机器人
中，例如通过使机器人对物体所带的标记进行计测，从而使机器人识别带有标记的物体的位置或姿势，并对物体进行操作。作为一例，图2是表示机器人
中的使用了标记的机器人任务(task)<br>的例子的图。使装接于轮椅的、为了辅助坐轮椅的人的生活而装接于机器人手臂顶端的机器人手的摄像机对带有标记的冰箱的把手进行识别，使机器人手自动地进行冰箱门的打开/关闭。在图2示出的任务中，摄像机识别了标记之后，机器人自主地以标记的位置和相对于该位置的姿势为基准生成规定的机器人手臂的轨道，由此，能打开冰箱门。通过摄像机进行的标记的计测例如如下所示地进行。首先，例如在具备正方形的外框的平板型标记的情况下，摄像机通过对所读取的图像数据进行图像处理来提取外框，检测出四个角。然后，通过使用了预先已知的该标记的四个角的位置(正方形的各顶点)与由摄像机读取的图像内的四个角的位置关系的几何学计算，能对相对于标记的摄像机的位置以及姿势进行解析，并识别带有标记的物体的位置或姿势。但是，在标记和摄像机正对的附近，标记的计测误差变大。此外，即使通过在摄像机中使用滤波器(平均滤波器、卡尔曼滤波器、粒子滤波器等)和计测记录能使标记的计测值的分散变小，也难以可靠地判定标记的计测值是否为真值。为了防止利用了这样的平板型的标记的、关于摄像机的位置或姿势的计测精度的恶化，在专利文献1中记载了：在构成标记的图样上方设置根据观测的方向使其浓淡图案变化的镜头，通过使浓淡图案变化，正确地计测相对于标记的摄像机的位置或姿势，正确地识别带有标记的物体的位置或姿势。现有技术文献专利文献专利文献1：日本特开2012-145559号公报
技术实现思路
专利技术所要解决的问题但是，在以往的平板型标记中，根据相对于标记的摄像机的姿势而产生计测误差，例如根据标记的大小、摄像机与标记的距离以及摄像机的视场角(焦距)，恐怕会产生带有标记的物体的位置或姿势的识别不确定的问题。图3左侧表示摄像机与标记接近的情况或者摄像机的视场角大(广角镜头)的情况，图3中央表示摄像机与标记远离的情况或者摄像机的视场角小(望远镜头)的情况。摄像机与标记远离时、或者摄像机的视场角小(望远镜头)时，如图3右侧所示，当标记的外框投影于以镜头的中心轴为法线的摄像面时，即使在通过镜头中心点和标记的中心点的直线(Visualline：视线)与标记的平面所成的角度是反向倾斜的情况下，摄像面的标记外框的偏差也变小，两者的判别不确定，例如在机器人技术的领域中，构成对相对于标记的摄像机的姿势做出错误推定，机器人手进行错误的动作的原因。图4表示通过镜头中心和标记的中心点的视线与标记中心点的法线所成的角度为45°时的实际所拍摄的图像，摄像机1(Camera1)是使用视场角为7.1°的镜头拍摄时的图像，摄像机2(Camera2)是使用视场角为40.0°的镜头拍摄时的图像。与摄像机2的图像相比，能确认在摄像机1的图像中未与正对的情况产生大的差别。图5是通过图像处理连续地对手持的平板型标记的姿势进行解析，将通过所获得的标记的中心点的法线(Z轴)的矢量(vector)用箭头表示。可知：根据手的移动，在02、06、08，法线矢量的朝向反转，在该阶段，在相对于AR标记的摄像机的姿势推定产生摆动。为了防止这样的错误推定，可以想到：在平板型标记中包含高度彼此不同的立体标识，形成六处标识，除了外框以外，还确定各标识，基于相对于平板型标记的各立体标识的位置和高度的数据，对绕X轴、Y轴(标记平面上的二维坐标)、Z轴以及各轴的旋转角度进行解析。但是，在这样的方法中，为了确定相对于标记的摄像机的位置或姿势，需要通过图像处理来正确地确定六处标识。但是，由于不能确定位于立体标识的阴影的标识，因此当摄像机偏离能对全部六处正确地进行拍摄的限定范围时，不可能确定正确的位置和姿势。而且，存在的问题是：需要极其高精度地选定各立体标识的位置、高度，标记的成本大幅上升。因此，在本专利技术中，附加于平板型标记的立体标识只设一处，而且该立体标识仅用于对所推定的姿势是否合理进行判定。然后，其目的在于，在做出了错误推定的情况下，仅按照一定的规则对已经运算出的相对于标记的摄像机的姿势数据进行变换，就能简单地进行修正。用于解决问题的方案为了解决上述的问题，本专利技术提供一种使用具有平面标识的标记，识别相对于该标记的摄像机的位置以及姿势的图像处理系统，其中，在所述标记上，将具有预先设定的高度的一个立体标识配置于相对于所述平面标识预先设定的位置，该图像处理系统具备：第一推定单元，通过比较由所述摄像机的图像提取的所述平面标识的配置和预先设定的所述平面标识的配置，推定相对于所述标记的摄像机的位置和姿势；第二推定单元，基于所述立体标识的配置、高度以及由所述第一推定单元推定的相对于所述标记的摄像机的位置，推定所述摄像机的图像上的所述立体标识的上表面以及下表面的中央位置；检测单元，基于所述摄像机的图像，检测所述立体标识的上表面的中央位置；判定单元，将由所述第二推定单元推定的所述立体标识的上表面以及下表面的中央位置和由所述检测单元检测出的所述立体标识的上表面以及下表本文档来自技高网...

【技术保护点】
一种图像处理系统，使用具有平面标识的标记，识别相对于该标记的摄像机的位置以及姿势，所述图像处理系统的特征在于，在所述标记，将具有预先设定的高度的一个立体标识配置于相对于所述平面标识预先设定的位置，所述图像处理系统具备：第一推定单元，通过比较由所述摄像机的图像提取的所述平面标识的配置和预先设定的所述平面标识的配置，推定相对于所述标记的摄像机的位置和姿势；第二推定单元，基于所述立体标识的配置、高度以及由所述第一推定单元推定的相对于所述标记的摄像机的位置，推定所述摄像机的图像上的所述立体标识的上表面以及下表面的中央位置；检测单元，基于所述摄像机的图像，检测所述立体标识的上表面的中央位置；判定单元，将由所述第二推定单元推定的所述立体标识的上表面以及下表面的中央位置和由所述检测单元检测出的所述立体标识的上表面以及下表面的中央位置，基于从所述摄像机观察的三维矢量进行比较，其误差为规定值以上时，判定为由所述第一推定单元推定的相对于所述标记的摄像机的姿势是错误的，所述图像处理系统具备：运算单元，在所述判定单元判定为错误时，分别使基于由所述第一推定单元推定的姿势的所述摄像机的绕X轴的视线角度以及绕Y轴的视线角度的符号反转之后，进行旋转变换，由此，对相对于所述标记的摄像机的姿势进行再运算，以使所述第一推定单元推定的相对于所述标记的摄像机的姿势正确，其中，X轴和Y轴分别表示在以所述标记平面上的一点为原点的三维坐标中，在该标记平面上彼此正交的坐标轴。...

【技术特征摘要】
【国外来华专利技术】2013.09.30 JP 2013-2049471.一种图像处理系统，使用具有平面标识的标记，识别相对于该标记的摄
像机的位置以及姿势，所述图像处理系统的特征在于，
在所述标记，将具有预先设定的高度的一个立体标识配置于相对于所述平
面标识预先设定的位置，
所述图像处理系统具备：
第一推定单元，通过比较由所述摄像机的图像提取的所述平面标识的配置
和预先设定的所述平面标识的配置，推定相对于所述标记的摄像机的位置和姿
势；
第二推定单元，基于所述立体标识的配置、高度以及由所述第一推定单元
推定的相对于所述标记的摄像机的位置，推定所述摄像机的图像上的所述立体
标识的上表面以及下表面的中央位置；
检测单元，基于所述摄像机的图像，检测所述立体标识的上表面的中央位
置；
判定单元，将由所述第二推定单元推定的所述立体标识的上表面以及下表
面的中央位置和由所述检测单元检测出的所述...

【专利技术属性】
技术研发人员：田中秀幸，
申请(专利权)人：独立行政法人产业技术综合研究所，
类型：发明
国别省市：日本;JP