影像配准装置与测距传感器(10)可通信地连接，并且与相机(20)可通信地连接，该测距传感器通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由该受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像，该相机通过由相机元件检测来自外部的入射光来生成相机图像。影像配准装置具备：图像获取部(41)，获取反射光图像、背景光图像和相机图像；以及图像处理部(42)，通过确定背景光图像的特征点与相机图像的特征点之间的对应关系，来实施与背景光图像相同坐标系的反射光图像与相机图像的影像配准。像与相机图像的影像配准。像与相机图像的影像配准。
【技术实现步骤摘要】
【国外来华专利技术】影像配准装置、图像生成系统、影像配准方法及影像配准程序
[0001]相关申请的交叉引用
[0002]本申请以在2019年9月10日在日本申请的专利申请第2019
‑
164860号为基础，整体上通过参照来引用基础申请的内容。
[0003]本说明书的公开涉及影像配准装置、图像生成系统、影像配准方法及影像配准程序。
技术介绍
[0004]在专利文献1中公开测距传感器。该测距传感器能够通过由受光元件感知通过光照射而从物体反射的反射光，来生成包含距离信息的反射光图像。在专利文献2中公开相机。相机能够通过由相机元件检测来自外部的入射光，来生成高分辨率的相机图像。
[0005]专利文献1：日本特开2019
‑
95452号公报
[0006]专利文献2：日本特开2018
‑
69878号公报
[0007]反射光图像和相机图像能够由应用来处理。然而，在反射光图像和相机图像中，检测定时会产生偏差Δt。在偏差Δt的期间，映现于反射光图像和相机图像的物体移动了的情况下，难以将映现于反射光图像的物体与映现于相机图像的物体高精度地建立关联来进行处理。因此，即使应用使用了反射光图像和相机图像双方，也无法最大限度地利用这些图像的信息，因此无法充分地提高处理精度。
技术实现思路
[0008]本说明书的公开的目的之一在于提供提高应用的处理精度的影像配准装置、图像生成系统、影像配准方法以及影像配准程序。
[0009]这里公开的一个方式提供一种影像配准装置，与测距传感器可通信地连接，并且与相机可通信地连接，测距传感器通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像，相机通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像，其中，影像配准装置具备：
[0010]图像获取部，获取反射光图像、背景光图像和相机图像；以及
[0011]图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关系，来实施与背景光图像相同坐标系的反射光图像与相机图像的影像配准。
[0012]根据这样的方式，使用与反射光图像相同坐标系的背景光图像来实施所获取的反射光图像与相机图像的影像配准。即，在与反射光图像相比性质接近相机图像的背景光图像的特征点与相机图像的特征点的比较中，特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像双方的应用的处理精度。
[0013]另外，所公开的另一个方式提供一种图像生成系统，生成使应用进行处理的图像，其中，图像生成系统具备：
[0014]测距传感器，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
[0015]相机，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；以及
[0016]图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关系，来实施与背景光图像相同坐标系的反射光图像与相机图像的影像配准，生成综合了距离信息和相机图像的信息的复合图像。
[0017]根据这样的方式，使用与反射光图像相同坐标系的背景光图像来实施反射光图像与相机图像的影像配准。即，在与反射光图像相比性质接近相机图像的背景光图像的特征点与相机图像的特征点的比较中，特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致。而且，来自测距传感器和相机的不同的图像生成源的信息即距离信息和相机图像的信息能够以应用容易处理的复合图像的方式提供。因此，能够显著提高使用反射光图像和相机图像双方的应用的处理精度。
[0018]另外，作为所公开的另一个方式，影像配准方法包括：
[0019]准备反射光图像和背景光图像，其中，反射光图像和背景光图像是测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
[0020]准备相机图像，其中，相机图像是相机生成的图像，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；
[0021]分别检测背景光图像的特征点和相机图像的特征点；
[0022]确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系；以及
[0023]基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应。
[0024]根据这样的方式，分别检测所准备的背景光图像的特征点和相机图像的特征点。然后，确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系。然后，基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应。这样，使用与反射光图像相同坐标系并且与反射光图像相比性质接近相机图像的背景光图像来实施反射光图像与相机图像的影像配准，因此特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像双方的应用的处理精度。而且，在确定了特征点彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
[0025]另外，所公开的另一个方式提供一种影像配准程序，实施测距传感器生成的图像
与相机生成的图像的影像配准，其中，
[0026]影像配准程序使至少一个处理部执行如下的处理：
[0027]获取反射光图像和背景光图像的处理，其中，反射光图像和背景光图像是测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
[0028]获取相机图像的处理，其中，相机图像是相机生成的图像，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；
[0029]分别检测背景光图像的特征点和相机图像的特征点的处理；
[0030]确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系的处理；以及
[0031]基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应的处理。
[0032]根据这样的方式，分别检测所获取的背景光图像的特征点和相机图像的特征点。然后，确定检测出的背景光图本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种影像配准装置，与测距传感器(10)可通信地连接，并且与相机(20)可通信地连接，所述测距传感器通过由受光元件(12a)感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由所述受光元件感知相对于所述反射光的背景光来生成与所述反射光图像相同坐标系的背景光图像(ImL)，所述相机通过由相机元件(22a)检测来自外部的入射光来生成与所述反射光图像和所述背景光图像相比高分辨率的相机图像(ImC)，其中，所述影像配准装置具备：图像获取部(41)，获取所述反射光图像、所述背景光图像和所述相机图像；以及图像处理部(42)，通过确定所述背景光图像的特征点(FPa)与所述相机图像的特征点(FPb)之间的对应关系，来实施与所述背景光图像相同坐标系的所述反射光图像与所述相机图像的影像配准。2.根据权利要求1所述的影像配准装置，其中，所述图像处理部分别检测所述背景光图像的特征点和所述相机图像的特征点，所述图像处理部确定检测出的所述背景光图像的特征点与所述相机图像的特征点之间的所述对应关系，所述图像处理部基于所述对应关系的确定结果，使所述背景光图像和所述相机图像中的一方的各像素与另一方的各像素对应。3.根据权利要求2所述的影像配准装置，其中，所述图像处理部考虑基于所述测距传感器与所述相机之间的相对位置的、图像上的映现对应点的位置的差异，来确定所述对应关系。4.根据权利要求3所述的影像配准装置，其中，所述图像处理部将与所述背景光图像和所述相机图像中的投影源的特征点对应的极线(EL)投影到投影目的地的图像，将位于沿着所述极线的具有规定的容许宽度(W)的带状的判定区域(JA)内的所述投影目的地的特征点判定为与所述投影源的特征点对应的点。5.根据权利要求4所述的影像配准装置，其中，根据在所述背景光图像的测定定时与所述相机图像的测定定时之间假定的偏移量，来设定所述容许宽度。6.根据权利要求2至5中的任意一项所述的影像配准装置，其中，所述图像处理部在所述背景光图像的特征点与所述相机图像的特征点之间的对应关系的确定中，使用从包含各所述特征点的周边区域得到的特征量，所述特征量是相对于尺度不变性高的特征量。7.根据权利要求2至5中的任意一项所述的影像配准装置，其中，所述图像处理部使用具有影响尺度的参数的特征点检测器，分别检测所述背景光图像的特征点和所述相机图像的特征点，所述图像处理部掌握所述背景光图像的分辨率与所述相机图像的分辨率之比，基于所述比，使所述背景光图像的特征点的检测所使用的所述参数与所述相机图像的特征点的检测所使用的所述参数不同。8.一种图像生成系统，生成使应用进行处理的图像，其中，所述图像生成系统具备：测...
【专利技术属性】
技术研发人员：塚田明宏，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。