图像处理方法及相关装置制造方法及图纸

一种图像处理方法及相关装置，该方法包括：获取第一红外图像、可见光图像和第二红外图像；其中，第一红外图像、可见光图像和第二红外图像为拍摄装置分别在T0时刻、T1时刻和T2时刻拍摄同一个场景得到，T0<T1<T2；基于第一红外图像和第二红外图像计算得到目标红外图像，目标红外图像包括第三红外图像和/或第四红外图像；第三红外图像为将第一红外图像从T0时刻转换到T1时刻获得的图像，第四红外图像为将第二红外图像从T2时刻转换到T1时刻获得的图像；将目标红外图像和可见光图像融合，获得融合图像。本申请能够提升红外图像和可见光图像的配准精度，从而提升融合图像的质量。从而提升融合图像的质量。从而提升融合图像的质量。

【技术实现步骤摘要】
图像处理方法及相关装置


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及相关装置。

技术介绍

[0002]低照度环境下，基于可见光成像的彩色摄像机采集的图像通常较为模糊，基于红外光成像的红外摄像机采集的图像虽然清晰，但颜色却不是彩色的(红外摄像机拍摄得到的通常是灰度图像)。为了能在低照度环境下得到较清晰的彩色图像，业界通常采用结合可见光与红外光成像的技术方案。
[0003]结合可见光与红外光成像的技术方案通常为：基于可见光和红外光分别成像得到可见光图像和红外图像后，再对可见光图像和红外图像进行融合得到最终输出的融合图像。相关技术中，在对多个图像进行融合时，通常需要先对该多个图像进行基于特征匹配的图像配准，但这种图像配准方案在配准可见光图像和红外图像时，通常精度较差，从而导致对可见光图像和红外图像融合后的图像的清晰度较差。

技术实现思路

[0004]本申请公开了一种图像处理方法及相关装置，能够基于获得的红外图像和可见光图像进行融合获得清晰的彩色图像。
[0005]第一方面，本申请提供一种图像处理方法，该方法包括：
[0006]获取第一红外图像、可见光图像和第二红外图像；其中，前述第一红外图像、前述可见光图像和前述第二红外图像为拍摄装置分别在T0时刻、T1时刻和T2时刻拍摄同一个场景得到，T0<T1<T2；
[0007]基于前述第一红外图像和前述第二红外图像计算得到目标红外图像，前述目标红外图像包括第三红外图像和/或第四红外图像；前述第三红外图像为将前述第一红外图像从前述T0时刻转换到前述T1时刻获得的图像，前述第四红外图像为将前述第二红外图像从前述T2时刻转换到前述T1时刻获得的图像；
[0008]将前述目标红外图像和前述可见光图像融合，获得融合图像。
[0009]本申请首先获取第一红外图像、可见光图像和第二红外图像(该三幅图像是拍摄装置分别在T0时刻、T1时刻和T2时刻拍摄同一个场景得到的)，然后基于该两个红外图像转换到拍摄可见光图像的时刻对应红外图像，以此来实现拍摄的红外图像与可见光图像的配准。相比于现有的基于对异模态的图像的处理(分别提取红外图像和可见光图像的特征点，并基于二者的特征点实现配准)来实现红外图像和可见光图像的配准方案，本申请通过同模态红外图像的转换处理(基于拍摄的两个红外图像)来实现红外图像和可见光图像的配准，提高了红外图像和可见光图像的配准精度，从而使得最终融合的图像更清晰。特别是在低照度环境下，可以获得清晰自然的彩色图像。
[0010]一种可能的实施方式中，前述基于前述第一红外图像和前述第二红外图像计算得到目标红外图像，包括：
[0011]采用光流法，根据前述T0，前述T1与前述T2三者的关系，以及前述第一红外图像和前述第二红外图像，计算得到前述目标红外图像。
[0012]可选的，前述目标红外图像包括前述第三红外图像；前述采用光流法，根据前述T0，前述T1与前述T2三者的关系，以及前述第一红外图像和前述第二红外图像，计算得到前述目标红外图像，包括：
[0013]计算从前述第一红外图像到前述第二红外图像的光流F1以及从前述第二红外图像到前述第一红外图像的光流F2；
[0014]基于前述T0，前述T1与前述T2三者的关系、前述光流F1和前述光流F2计算光流F3，前述光流F3为从前述第三红外图像到前述第一红外图像的光流；
[0015]基于前述光流F3和前述第一红外图像进行光流反向映射获得前述第三红外图像。
[0016]本申请基于上述两个红外图像和上述三个图像的拍摄时间信息，采用光流法将拍摄的红外图像，转换到拍摄可见光图像的时刻对应红外图像，以此来实现拍摄的红外图像与可见光图像的配准。相比于现有的基于对异模态的图像的处理(分别提取红外图像和可见光图像的特征点，并基于二者的特征点实现配准)来实现红外图像和可见光图像的配准方案，本申请通过同模态红外图像的处理(基于拍摄的两个红外图像)来实现红外图像和可见光图像的配准，提高了红外图像和可见光图像的配准精度。
[0017]一种可能的实施方式中，前述将前述目标红外图像和前述可见光图像融合，获得融合图像，包括：
[0018]提取前述可见光图像的颜色特征；
[0019]提取前述目标红外图像的纹理特征；
[0020]基于前述颜色特征和前述纹理特征，获得前述融合图像。
[0021]本申请中可见光图像贡献颜色特征，上述转换后得到的红外图像贡献纹理特征，基于该颜色特征和纹理特征进行图像融合可以获得清晰自然的彩色图像。
[0022]一种可能的实施方式中，前述将前述目标红外图像和前述可见光图像融合，获得融合图像，包括：
[0023]通过第一神经网络将前述目标红外图像和前述可见光图像融合，获得前述融合图像；前述第一神经网络包括颜色提取神经网络和纹理提取神经网络，前述颜色提取神经网络用于提取前述可见光图像的颜色特征；前述纹理提取神经网络用于提取前述目标红外图像的纹理特征。
[0024]本申请通过训练好的神经网络来提取可见光图像的颜色特征和提取红外图像的纹理特征，可以使得提取的特征更精确，以使得融合后的图像更自然清晰。
[0025]一种可能的实施方式中，前述颜色提取神经网络的分辨率不高于预设的第一分辨率阈值且前述颜色提取神经网络的层数不低于预设的第一网络深度阈值。
[0026]一种可能的实施方式中，前述纹理提取神经网络的分辨率高于预设的第二分辨率阈值且前述纹理提取神经网络的层数低于预设的第二网络深度阈值。
[0027]本申请提供的上述第一神经网络，由于该第一神经网络中的颜色提取神经网络的分辨率低，并且第一神经网络中的纹理提取神经网络的层数低，那么，整个第一神经网络的算力要求比较低，相比于现有的神经网络(例如，Unet神经网络)算力要求高，本申请的方案具备更好的硬件适应能力。另外，由于该颜色提取神经网络的分辨率低，输入该颜色提取神
经网络的可见光图像可以是下采样后的图像，下采样的过程中消除了部分噪声，下采样后的图像中的噪声减少，因而采用低分辨率的颜色提取神经网络可以增强对噪声的抗干扰性。
[0028]一种可能的实施方式中，前述方法通过图像处理模型实现，前述图像处理模型包括前述第一神经网络和第二神经网络；
[0029]前述第二神经网络用于获取从前述第一红外图像到前述第二红外图像的光流F1和从前述第二红外图像到前述第一红外图像的光流F2；前述光流F1和前述光流F2用于计算获得前述目标红外图像；
[0030]前述图像处理模型包括的前述第一神经网络和前述第二神经网络通过端到端训练得到。
[0031]本申请中，端到端的训练可以使得第一神经网络可以容错第二神经网络(提取光流的神经网络)中光流的计算误差，最终使得训练出来的图像处理模型具备更强的鲁棒性。
[0032]一种可能的实施方式中，前述图像处理模型的训练图像是在照度低于预设的照度阈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一红外图像、可见光图像和第二红外图像；其中，所述第一红外图像、所述可见光图像和所述第二红外图像为拍摄装置分别在T0时刻、T1时刻和T2时刻拍摄同一个场景得到，T0<T1<T2；基于所述第一红外图像和所述第二红外图像计算得到目标红外图像，所述目标红外图像包括第三红外图像和/或第四红外图像；所述第三红外图像为将所述第一红外图像从所述T0时刻转换到所述T1时刻获得的图像，所述第四红外图像为将所述第二红外图像从所述T2时刻转换到所述T1时刻获得的图像；将所述目标红外图像和所述可见光图像融合，获得融合图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一红外图像和所述第二红外图像计算得到目标红外图像，包括：采用光流法，根据所述T0，所述T1与所述T2三者的关系，以及所述第一红外图像和所述第二红外图像，计算得到所述目标红外图像。3.根据权利要求2所述的方法，其特征在于，所述目标红外图像包括所述第三红外图像；所述采用光流法，根据所述T0，所述T1与所述T2三者的关系，以及所述第一红外图像和所述第二红外图像，计算得到所述目标红外图像，包括：计算从所述第一红外图像到所述第二红外图像的光流F1以及从所述第二红外图像到所述第一红外图像的光流F2；基于所述T0，所述T1与所述T2三者的关系、所述光流F1和所述光流F2计算光流F3，所述光流F3为从所述第三红外图像到所述第一红外图像的光流；基于所述光流F3和所述第一红外图像进行光流反向映射获得所述第三红外图像。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述将所述目标红外图像和所述可见光图像融合，获得融合图像，包括：提取所述可见光图像的颜色特征；提取所述目标红外图像的纹理特征；基于所述颜色特征和所述纹理特征，获得所述融合图像。5.根据权利要求4所述的方法，其特征在于，所述将所述目标红外图像和所述可见光图像融合，获得融合图像，包括：通过第一神经网络将所述目标红外图像和所述可见光图像融合，获得所述融合图像；所述第一神经网络包括颜色提取神经网络和纹理提取神经网络，所述颜色提取神经网络用于提取所述可见光图像的颜色特征；所述纹理提取神经网络用于提取所述目标红外图像的纹理特征。6.根据权利要求5所述的方法，其特征在于，所述颜色提取神经网络的分辨率不高于预设的第一分辨率阈值且所述颜色提取神经网络的层数不低于预设的第一网络深度阈值。7.根据权利要求5或6所述的方法，其特征在于，所述纹理提取神经网络的分辨率高于预设的第二分辨率阈值且所述纹理提取神经网络的层数低于预设的第二网络深度阈值。8.根据权利要求5
‑
7任意一项所述的方法，其特征在于，所述方法通过图像处理模型实现，所述图像处理模型包括所述第一神经网络和第二神经网络；
所述第二神经网络用于获取从所述第一红外图像到所述第二红外图像的光流F1和从所述第二红外图像到所述第一红外图像的光流F2；所述光流F1和所述光流F2用于计算获得所述目标红外图像；所述图像处理模型包括的所述第一神经网络和所述第二神经网络通过端到端训练得到。9.根据权利要求8所述的方法，其特征在于，所述图像处理模型的训练图像是在照度低于预设的照度阈值的环境下采集得到的。10.一种拍摄装置，其特征在于，所述拍摄装置包括镜片、调光片、驱动模块和成像模块；所述调光片位于所述镜片和所述成像模块之间，所述驱动模块与所述调光片连接；所述镜片用于将入射到所述镜片上的光聚集到所述调光片上；所述调光片包括红外带通滤光片、红外截止滤光片和遮光片，所述红外带通滤光片用于让红外光穿过且过滤可见光，所述红外截止滤光片用于让可见光穿过且过滤红外光，所述遮光片用于阻止光线穿过；所述驱动模块用于驱动所述调光片运动，以使得聚集到所述调光片上的光在第一时段入射到所述红外带通滤光片上，在第二时段入射到所述红外截止滤光片上，在第三时段和第四时段入射到所述遮光片上；所述成像模块用于在所述第一时段接收穿过所述红外带通滤光片的红外光，并在所述第三时段基于接收的红外光得到第一红外图像；以及用于在所述第二时段接收穿过所述红外截止滤光片的可见光，并在所述第四时段基于接收的可见光得到可见光图像；所述第一时段、所述第二时段、所述第三时段和所述第四时段不重叠。11.根据权利要求10所述的拍摄装置，其特征在于，所述调光片为圆形，所述红外带通滤光片、所述红外截止滤光片和所述遮光片为扇形；所述驱动模块用于驱动所述调光片转动。12.根据权利要求10所述的拍摄装置，其特征在于，所述调光片为多边形，所述红外带通滤光片、所述红外截止滤光片和所述遮光片为三角形或四边形；所述驱动模块用于驱动所述调光片转动。13.根据权利要求10所述的拍摄装置，其特征在于，所述调光片为矩形，所述红外带通滤光片、所述红外截止滤光片和所述遮光片为矩形；所述驱动模块用于驱动所述调光片移动。14.根据权利要求10
‑
13任一项所述的拍摄装置，其特征在于，所述红外带通滤光片与所述遮光片相邻，所述红外截止滤光片与所述遮光片相邻。15.根据权利要求10
‑
14任一项所述的拍摄装置，其特征在于，所述第一时段的长度指示所述第一红外图像的曝光时长；所述第二时段的长度...

【专利技术属性】
技术研发人员：罗谌持，方光祥，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：