基于第二图像更新第一图像的方法和处理系统技术方案

本发明专利技术公开了基于第二图像更新第一图像的方法和处理系统。具体而言，提出了一种用于处理相机图像的方法和系统。系统接收基于由第一类型的深度感测相机感测的信息生成的第一深度图，并接收基于由第二类型的深度感测相机感测的信息生成的第二深度图。第一深度图包括指示第一组相应深度值的第一组像素。第二深度图包括指示第二组相应深度值的第二组像素。系统识别第一深度图的与第二深度图的第二组像素对应的第三组像素，从第三组像素中识别一个或多个空像素，并通过将基于第二深度图的相应深度值分配给每个空像素来更新第一深度图。深度值分配给每个空像素来更新第一深度图。深度值分配给每个空像素来更新第一深度图。

【技术实现步骤摘要】
基于第二图像更新第一图像的方法和处理系统
[0001]本申请是申请日为2019年8月15日、题为“基于第二图像更新第一图像的方法和处理系统”的专利技术专利申请201910751259.2的分案申请。


[0002]本专利技术针对一种用于基于相机图像数据构造图像的方法和处理系统。

技术介绍

[0003]相机可以被用于促进在其中机器人与机器人的环境(诸如仓库或制造环境)交互的自动化应用。相机可以生成从中可以确定各种信息(诸如机器人环境中的物体的形状或大小)的图像。该信息可以帮助在其中机器人在仓库中拾取物体或在工厂中围绕物体导航的交互。由相机捕获的图像还可以被用于生成物体的模型，诸如物体的三维(3D)模型。

技术实现思路

[0004]本文的实施例的一个方面涉及由相机图像处理系统执行的方法。该方法可以由相机图像处理系统的控制电路执行，诸如通过控制电路执行相机图像处理系统的非暂时性计算机可读介质上的指令。该相机图像处理系统包括通信接口，该通信接口被配置为与以下各项通信：(i)第一相机，其是第一类型的深度感测相机并且具有第一相机视场，以及(ii)第二相机，其是与第一类型的深度感测相机不同的第二类型的深度感测相机并且具有与第一相机视场重叠的第二相机视场。当通信接口与第一相机和第二相机通信时，相机图像处理系统被配置为接收基于由第一相机感测到的信息生成的第一深度图，其中该第一深度图包括第一组像素，第一组像素表示第一相机视场中的第一组相应物理位置，并且指示用于第一组相应物理位置的第一组相应深度值，其中第一组相应深度值是相对于第一相机的。相机图像处理系统还被配置为接收基于由第二相机感测到的信息生成的第二深度图，其中该第二深度图包括第二组像素，第二组像素表示第二相机视场中的第二组相应物理位置，并且指示用于第二组相应物理位置的第二组相应深度值，其中第二组相应深度值是相对于第二相机的。另外，相机图像处理系统被配置为识别第一深度图的第三组像素，该第三组像素也表示第二组相应物理位置，使得第三组像素对应于第二深度图的第二组像素。此外，相机图像处理系统被配置为从第三组像素中识别一个或多个空像素，其中该一个或多个空像素中的每个空像素是第一深度图的不具有分配到该像素的深度值的像素，并且相机图像处理系统被配置为通过向该一个或多个空像素的每个空像素分配基于第二深度图的第二组像素中的对应像素的深度值的相应深度值来更新第一深度图，其中用于空像素的对应像素是第二深度图的第二组像素中的与空像素表示相同的物理位置的像素。
附图说明
[0005]本专利技术的前述和其他特征、目的和优点将从如附图所示的本专利技术实施例的以下描述中变得清楚。在此被并入并形成说明书一部分的附图进一步用于解释本专利技术的原理并使
相关领域的技术人员能够制造和使用本专利技术。附图不按比例绘制。
[0006]图1A描绘了根据本文的实施例的具有相机图像处理系统、第一相机和第二相机的视觉系统的框图。
[0007]图1B描绘了根据本文的实施例的相机图像处理系统的框图。
[0008]图1C描绘了根据本文的实施例的第一相机的框图。
[0009]图1D描绘了根据本文的实施例的第二相机的框图。
[0010]图1E描绘了根据本文的实施例的与机器人控制系统通信的视觉系统的框图。
[0011]图2描绘了根据本文的实施例的视觉系统，其中第一相机和第二相机感测可以从其生成深度图的信息。
[0012]图3A描绘了根据本文的实施例的视觉系统，其中第一相机和第二相机感测可以从其生成深度图的信息。
[0013]图3B描绘了根据本文的实施例的第一深度图。
[0014]图3C
‑
3E描绘了根据本文的实施例的由第一深度图表示的第一组物理位置。
[0015]图3F描绘了根据本文的实施例的视觉系统，其中第一相机和第二相机感测可以从其生成深度图的信息。
[0016]图3G描绘了根据本文的实施例的第二深度图。
[0017]图3H描绘了根据本文的实施例的由第二深度图表示的第二组物理位置。
[0018]图4提供了示出根据本文的实施例的用于更新深度图的方法的流程图。
[0019]图5A和5B描绘了根据本文的实施例的视觉系统，其中第一相机和第二相机感测可以从其生成深度图的信息。
[0020]图6A至图6I示出了根据本文的实施例的基于来自第二深度图的深度信息更新第一深度图的示例。
[0021]图7A至图7C示出了根据本文的实施例的基于来自第二深度图的深度信息更新第一深度图的示例。
[0022]图8A和图8B示出了根据本文的实施例的基于来自第二深度图的深度信息更新第一深度图的示例。
[0023]图9A至图9C示出了根据本文的实施例的通过反向投影操作确定物理位置的坐标的示例。
具体实施方式
[0024]以下详细描述本质上仅是示例性的，并不旨在限制本专利技术或本专利技术的应用和用途。此外，不旨在受前述
、
技术介绍
、
技术实现思路
或以下具体实施方式中提出的任何明示或暗示的理论的约束。
[0025]本文描述的实施例涉及基于第二图像中的信息补充或以其他方式更新第一图像中的信息。更具体地，本文的实施例涉及基于第二深度图中的深度信息补充或以其他方式更新第一深度图中的深度信息(例如，深度值)。第一深度图可以是基于由第一相机感测的信息生成的，而第二深度图可以是基于由第二相机感测的信息生成的。在一些情况下，第二相机可以具有与第一相机不同的属性。例如，第二相机可以是与第一相机不同类型的相机，并且可以具有不同的操作原理。不同的属性可以使第二相机例如具有对某些类型的噪声
(也称为干扰)的较小敏感度、更好的准确度、更高的分辨率或相对于第一相机的属性的某个其他差异。在一些情况下，由第二相机感测的信息可以覆盖第一相机遗漏的某些物理位置。出现这种情况可能是因为两台相机具有对噪声的不同敏感度、不同准确度水平、不同分辨率、不同视场或因为某个其他原因。因为第二相机可以感测第一相机遗漏或不可用的信息，所以第二相机可以被用于补充第一相机的能力和/或相对于仅使用一个相机生成深度图或其他图像的实现方案提供可以产生更完整和/或更准确的深度图或其他图像的补充信息。因此，本文的实施例的深度图可以是经由第一相机获得的深度信息和经由第二相机获得的深度信息的融合。
[0026]在一些情形下，经更新的深度图(也被称为经补充的深度图)可以被用于增强机器人与其环境交互的能力。例如，来自经更新的深度图的深度信息可以被用于生成机器人的环境中的物体或结构的3D模型(例如，点云)。如上所述，本文的实施例中的经更新的深度图可以更完整，或者具有更高的准确度。结果，从经更新的深度图生成的3D模型也可以更完整和/或更准确，这可以促进在机器人与被建模的物体或结构的交互期间更准确地控制机器人。例如，盒子或箱子中的物体的更准确的3D模型可以增强机器人准确执行箱子拾取的能力，并且机器人的环境中的结构的更准确的3D模型可以通过在该结构周围导航来增强机器人避免与结构碰撞本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机图像处理系统，包括：通信接口，被配置为与以下各项通信：(i)第一相机，所述第一相机是第一类型的深度感测相机并且具有第一相机视场，以及(ii)第二相机，所述第二相机是与所述第一类型的深度感测相机不同的第二类型的深度感测相机并且具有与所述第一相机视场重叠的第二相机视场；以及控制电路，所述控制电路被配置为：当所述通信接口与所述第一相机和所述第二相机通信时，接收基于由所述第一相机感测的信息生成的第一深度图，其中所述第一深度图包括第一组像素，所述第一组像素表示所述第一相机视场中的第一组相应物理位置并且指示用于所述第一组相应物理位置的第一组相应深度值，其中所述第一组相应深度值是相对于所述第一相机的；接收基于由所述第二相机感测的信息生成的第二深度图，其中所述第二深度图包括第二组像素，所述第二组像素表示所述第二相机视场中的第二组相应物理位置并且指示用于所述第二组相应物理位置的第二组相应深度值，其中所述第二组相应深度值是相对于所述第二相机的；识别所述第一深度图的也表示所述第二组相应物理位置的第三组像素，使得所述第三组像素对应于所述第二深度图的所述第二组像素；从所述第三组像素中识别一个或多个空像素，其中所述一个或多个空像素中的每个空像素是所述第一深度图的没有分配到该像素的深度值的像素；通过向所述一个或多个空像素中的每个空像素分配基于所述第二深度图的所述第二组像素中的对应像素的深度值的相应深度值来更新所述第一深度图，其中用于所述空像素的所述对应像素是所述第二深度图的所述第二组像素中的与所述空像素表示相同的物理位置的像素。2.如权利要求1所述的相机图像处理系统，其中，所述控制电路被配置为基于所述第二深度图的所述对应像素的所述深度值并且基于定义所述第一相机和所述第二相机之间的所述空间关系的变换函数来确定要分配到所述一组一个或多个空像素中的每个空像素的所述相应深度值。3.如权利要求2所述的相机图像处理系统，其中，所述第二深度图的所述第二组像素具有一组相应像素坐标，并且其中，所述控制电路被配置为通过基于所述一组相应像素坐标并且基于定义所述第一相机与所述第二相机之间的所述空间关系的所述变换函数来确定附加一组相应像素坐标，从而识别所述第一深度图的所述第三组像素，其中所述附加一组相应像素坐标组识别所述第三组像素。4.如权利要求1所述的相机图像处理系统，其中，所述控制电路被配置为经由所述通信接口从所述第一相机接收所述第一深度图，并且经由所述通信接口从所述第二相机接收所述第二深度图。5.如权利要求1所述的相机图像处理系统，其中，所述控制电路被配置为当所述第一深度图具有高于所述第二深度图的第二分辨率的第一分辨率时进一步通过以下方式来更新所述第一深度图：对于属于或曾属于所述一个或多个空像素的至少一个像素，识别所述第一深度图的与
所述至少一个像素相邻并且没有分配的深度值的相应一组一个或多个相邻空像素；以及向所述相应一组一个或多个相邻空像素分配被分配到或将被分配到所述至少一个像素的深度值。6.如权利要求5所述的相机图像处理系统，其中，所述控制电路被配置为将所述相应一组一个或多个相邻空像素识别为围绕所述至少一个像素的像素的区域中的所有空像素，其中所述控制电路被配置为基于所述第一深度图的分辨率与所述第二深度图的分辨率之间的比率来确定所述区域的大小。7.如权利要求1所述的相机图像处理系统，其中，所述控制电路被配置为进一步通过以下方式来更新所述第一深度图：识别与属于或曾属于所述一个或多个空像素的第一像素相邻并且与属于或曾属于所述一个或多个空像素的第二像素相邻的一组一个或多个相邻空像素；以及向所述一组一个或多个相邻空像素分配平均深度值，所述平均深度值是被分配或将被分配到所述第一像素的第一深度值与被分配或将被分配到所述第二像素的第二深度值的平均。8.如权利要求7所述的相机图像处理系统，其中，所述控制电路被配置为进一步通过以下方式来更新所述第一深度图：识别与所述第一像素相邻且不与所述一个或多个空像素中的任何其他像素相邻的附加一组相邻空像素；以及将所述第一深度值分配到所述附加一组相邻空像素。9.如权利要求1所述的相机图像处理系统，其中，对于属于或曾属于所述一个或多个空像素的每个像素，所述控制电路被配置为：确定所述像素的相应中心位置；将3D坐标确定为由所述像素表示的物理位置的相应坐标，所述3D坐标投影到所述像素的所述中心位置上并且所述3D坐标的分量等于被分配或将被分配到所述像素的深度值；以及基于相应的3D坐标生成点云。10.如权利要求9所述的相机图像处理系统，其中，对于属于或曾属于所述一个或多个空像素的每个像素，所述控制电路被配置为将所述相应的3D坐标确定为落在假想线上的坐标，所述假想线穿过：(i)所述像素的所述相应中心位置以及(ii)所述第一相机的焦点。11.如权利要求1所述的相机图像处理系统，其中，当所述第一深度图具有低于所述第二深度图的第二分辨率的第一分辨率使得所述第一深度图的所述一个或多个像素中的每个像素对应于所述第二组像素中的多个像素时，所述控制电路被配置为：基于所述第二深度图的所述第二组像素中的对应像素的相应深度值的平均，确定要分配到所述一个或多个空像素中的每个空像素的所述相应深度值。12.如权利要求1所述的相机图像处理系统，其中所述相机图像处理系统是机器人控制系统的一部分，并且其中当所述通信接口与所述第一相机、所述第二相机和机器人通信时，所述控制电路被配置为：在基于所述第二深度图的深度值更新所述第一深度图之后，基于所述第一深度图生成机器人移动命令；以及
经由所述通信接口将所述机器人移动命令传送给所述机器人。13.如权利要求12所述的相机图像处理系统，其中，在基于所述第二深度图的深度值更新所述第一深度图之后，所述控制电路被配置为：基于所述第一深度图生成所述机器人移动命令。14.一种具有指令的非暂时性计算机可读介质，所述指令当由相机图像处理系统的控制电路执行时，使所述控制电路执行以下...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：牧今科技，
类型：发明
国别省市：