一种图像配准方法及装置制造方法及图纸

本申请公开一种图像配准方法及装置，涉及图像处理领域，实现成像光线不同的图像的像素级配准。该方案包括：获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，第一图像和基准第二图像的成像光线不同，基准第二图像与非基准第二图像的成像光线相同；获取每个非基准第二图像与基准第二图像的第一光流；获取每个非基准第二图像对应的光流缩放因子；根据第一光流以及光流缩放因子，确定待配准的第一图像与基准第二图像的第二光流；根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。准后的第一图像。准后的第一图像。

【技术实现步骤摘要】
一种图像配准方法及装置


[0001]本申请涉及图像处理领域，尤其涉及一种图像配准方法及装置。

技术介绍

[0002]随着图像处理技术的发展，人们对图像的质量要求越来越高。通过将多个图像融合，以获取高质量的图像的应用越来越广。
[0003]例如，在交通抓拍的低照度场景中，使用补光设备进行补光以获取高质量的图像。可以通过不补光的方式，获取体现物体的真实色彩信息的可见光图像，通过红外补光的方式获取红外图像。在该方案中，时分的获取的可见光图像和红外图像，可以将时域相邻的可见光图像和红外图像进行融合得到高质量图像，尽可能的保留了物体的真实色彩信息。
[0004]例如，在监控场景中，可以通过补强光的方式，获取具有反光表面的物体的内部的真实图像，通过补弱光或者不补光的方式获取具有反光物体的表面的真实图像。在该方案中，时分的获取的补强光图像和补弱光图像，可以将时域相邻的补强光图像和补弱光图像进行融合得到高质量图像，尽可能的保留了物体内外的真实图像。
[0005]但是，采集图像时不可避免的存在物体的移动或相机的移动，不同图像中指示同一对象的像素会产生像素位移，因此在进行图像融合前，需要先对待融合的图像进行图像配准。而由于不同图像的采集参数不同(比如光谱不同、成像光线不同等)，会产生非常大的纹理差异和颜色差异。因此，现有的通过特征相似估计的配准算法，图像的配准精度不高。

技术实现思路

[0006]本申请实施例提供一种图像配准方法及装置，以提高成像光线不同的图像的配准精度。
[0007]为达到上述目的，本申请实施例采用如下技术方案：
[0008]第一方面，提供一种图像配准方法，该方法可以包括：获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，第一图像和基准第二图像的成像光线不同，基准第二图像与非基准第二图像的成像光线相同；获取每个非基准第二图像与基准第二图像的第一光流；获取每个非基准第二图像对应的光流缩放因子，光流缩放因子用于指示第一光流与第二光流的比例关系；第二光流为待配准的第一图像与基准第二图像间的光流；根据第一光流以及光流缩放因子，确定待配准的第一图像与基准第二图像的第二光流；根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0009]通过本申请提供的图像配准方法，先获取成像光线相同的图像间的光流，将其转换得到成像光线不同的图像间的光流，进而对成像光线不同的图像按照获取的光流配准。由于获取成像光线相同的图像间的光流准确度高，就可以提高转换得到的成像光线不同的图像间的光流的准确度，进而提高了成像光线不同的图像的配准精度。
[0010]其中，本申请描述的同一对象，可以为人或者物上某一固定的点，或者图像中人或
者物固定的点的像素。或者，本申请描述的同一对象也可以是图像上的人或者物这一整体，当同一对象包括多个像素点时，同一对象的像素的坐标差可以是该对象的所有像素点在两帧图像中的坐标差之和或者所有像素点在两帧图像中的坐标差的简单平均值或加权平均值。
[0011]拍摄装置(设备)的拍摄原理是通过镜头收集光线，使得光线进入成像传感器，成像传感器根据进入的光线进行成像，得到拍摄的图像。成像光线是指采集图像时，进入成像传感器的光线。成像光线不同可以理解为：成像光线的类型不同，或者，成像光线的强度不同。在实际应用中，进入镜头的光线可以直接进入成像传感器，或者，可以对进入镜头的光线进行处理，处理后的光线则为进入成像传感器的光线。
[0012]一种可能的实现方式中，上述待配准的第一图像和基准第二图像的补光类型不同，基准第二图像与非基准第二图像的补光类型相同，以提高补光类型不同的图像的配准精度。
[0013]其中，补光是指对拍摄装置(设备)的环境补充光线。补光类型不同可以指对拍摄装置(设备)的环境补充波长不同或光学频谱上频段不同的光线，使得进入成像传感器的成像光线类型不同。
[0014]另一种可能的实现方式中，采集第一图像和基准第二图像时进入成像传感器的光线类型不同，采集基准第二图像与非基准第二图像时进入成像传感器的光线类型相同，以提高进入成像传感器的光线类型不同的图像的配准精度。
[0015]其中，可以对进入镜头的光线进行滤波，得到不同类型的光线进入成像传感器。例如，可以在成像传感器之前设置仅允许红外光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为红外光，以拍摄得到红外图像。可以在成像传感器之前设置仅允许可见光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为可见光，以拍摄得到可见光图像。
[0016]另一种可能的实现方式中，采集第一图像和基准第二图像时进入成像传感器的光线强度不同，采集基准第二图像与非基准第二图像时进入成像传感器的光线强度相同，以提高进入成像传感器的光线强度不同的图像的配准精度。
[0017]其中，可以对进入镜头的光线进行衰减或放大，得到不同强度的光线进入成像传感器，进而拍摄得到不同成像光线强度的图像。
[0018]另一种可能的实现方式中，上述待配准的第一图像为红外光进入成像传感器采集的红外图像，基准第二图像与非基准第二图像为可见光进入成像传感器采集的可见光图像，以提高红外图像向可见光图像的配准精度。
[0019]另一种可能的实现方式中，上述待配准的第一图像为可见光进入成像传感器采集的可见光图像，基准第二图像与非基准第二图像为红外光进入成像传感器采集的红外图像，以提高可见光图像向红外图像的配准精度。
[0020]其中，红外光进入成像传感器，可以为对拍摄装置(设备)的环境补红外光实现，或者，可以在成像传感器之前设置仅允许红外光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为红外光。同理，可见光进入成像传感器，可以为对拍摄装置(设备)的环境补可见光或者不补光实现，或者，可以在成像传感器之前设置仅允许可见光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为可见光。
[0021]另一种可能的实现方式中，上述待配准的第一图像和基准第二图像的补光强度不同，基准第二图像与非基准第二图像的补光强度相同，补光强度决定了成像光线的强度，以提高补光强度不同的图像的配准精度。
[0022]其中，补光强度不同可以指对拍摄装置(设备)的环境补充不同强度的光线，使得进入成像传感器的成像光线强度不同。
[0023]另一种可能的实现方式中，上述获取每个非基准第二图像对应的光流缩放因子，包括：获取基准第二图像和待配准的第一图像之间的第一采集时间间隔，以及基准第二图像和每个非基准第二图像之间的第二采集时间间隔；根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放因子。由于图像采集时间间隔的比值可以准确的体现像素位移，因此，可以根据采集时间间隔的确定光流缩放因子，以获取准确度高的光流缩放因子。
[0024]另一种可能的实现方式中，根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，所述方法包括：获取待配准的第一图像、与所述第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，所述第一图像和所述基准第二图像的成像光线不同，所述基准第二图像与所述非基准第二图像的成像光线相同；获取每个所述非基准第二图像与所述基准第二图像的第一光流；获取每个所述非基准第二图像对应的光流缩放因子，所述光流缩放因子用于指示所述第一光流与第二光流的比例关系；所述第二光流为所述第一图像与所述基准第二图像间的光流；根据所述第一光流以及所述光流缩放因子，确定所述第二光流；根据所述第二光流，将所述第一图像与所述基准第二图像进行配准，得到配准后的第一图像。2.根据权利要求1所述的方法，其特征在于，所述第一图像和所述基准第二图像的补光类型不同，所述基准第二图像与所述非基准第二图像的补光类型相同；或者，所述第一图像和所述基准第二图像的补光强度不同，所述基准第二图像与所述非基准第二图像的补光强度相同。3.根据权利要求1所述的方法，其特征在于，所述第一图像为红外光进入成像传感器采集的红外图像，所述基准第二图像与所述非基准第二图像为可见光进入成像传感器采集的可见光图像；或者，所述第一图像为可见光进入成像传感器采集的可见光图像，所述基准第二图像与所述非基准第二图像为红外光进入成像传感器采集的红外图像。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述获取每个所述非基准第二图像对应的光流缩放因子，包括：获取所述基准第二图像和所述第一图像之间的第一采集时间间隔，以及所述基准第二图像和每个所述非基准第二图像之间的第二采集时间间隔；根据所述第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定所述光流缩放因子。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述获取每个所述非基准第二图像对应的光流缩放因子，包括：获取所述基准第二图像和所述第一图像中，一个或多个匹配像素对，一个匹配像素对中包括所述基准第二图像和所述第一图像中特征相似度大于或等于第二阈值的像素点；根据第一匹配像素对的像素位移，以及所述第一光流，确定所述光流缩放因子；其中，所述第一匹配像素对为所述一个或多个匹配像素对中的一个。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述根据所述第一光流以及所述光流缩放因子，确定所述第二光流，包括：若所述第一光流与所述第二光流的方向相同，确定所述第二光流为所述光流缩放因子与所述第一光流的乘积；
若所述第一光流与所述第二光流的方向不同，确定所述第二光流为所述光流缩放因子与所述第一光流的乘积的负数。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述非基准第二图像为多个；所述根据所述第一光流以及所述光流缩放因子，确定所述第二光流，包括：根据每个所述非基准第二图像与所述基准第二图像的第一光流，以及每个所述非基准第二图像对应的光流缩放因子，获取多个所述第二光流；根据所述第二光流，将所述第一图像与所述基准第二图像进行配准，得到配准后的第一图像，包括：根据所述多个第二光流，确定目标第二光流，按照所述目标第二光流，将所述第一图像与所述基准第二图像进行配准，得到配准后的第一图像。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，每个所述非基准第二图像与所述基准第二图像时域相邻。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述配准后的第一图像与所述基准第二图像中指示同一对象的像素的坐标差小于或等于第一阈值。10.一种图像配准装置，其特征在于，所述装置包括：第一获取单元，用于获取待配准的第一图像、与所述第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，所述第一图像和所述基准第...

【专利技术属性】
技术研发人员：洪文浩，杨长久，陈晓雷，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：