图像融合方法和电子设备技术

本申请公开了一种图像融合方法和电子设备，涉及图像处理领域，用于实现图像融合以提高图像清晰度。图像融合方法包括：响应于拍照命令，通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，第一摄像头的视场角大于第二摄像头的视场角，第二摄像头的像素数多于第一摄像头的像素；如果满足预设条件，对第二图像的特征点和第一图像的特征点进行匹配，得到第一图像中与第二图像具有重合区域的第三图像，并将第二图像缩小至重合区域的大小得到第四图像；对第三图像和第四图像的颜色和亮度进行一致性校正，对一致性校正后的第三图像和第四图像进行融合后替换第一图像中位于重合区域的图像，得到目标图像。得到目标图像。得到目标图像。

【技术实现步骤摘要】
图像融合方法和电子设备


[0001]本申请涉及图像处理领域，尤其涉及一种图像融合方法和电子设备。

技术介绍

[0002]为了满足用户在不同焦段及视场角下的摄影需求，越来越多的手机支持多个摄像头的硬件配置，例如长焦摄像头、超广角摄像头、主摄广角摄像头、微距摄像头和鱼眼摄像头等等。一种摄像头无法在全焦段全视场角具备较好的清晰度，只能在特定焦段和特定视场角具备较好的清晰度，例如长焦摄像头适合拍摄较远的物体，超广角摄像头适合拍摄视场角更大的物体，主摄摄像头像素数多可以提供较高清晰度的图像，微距摄像头适合拍摄极近距离的物体，鱼眼摄像头适配拍摄360度视场角的物体等等。
[0003]在旗舰级的产品上，通过较高的硬件配置和复杂算法等方式可以综合这些摄像头的成像得到优质的拍照效果。但是对于中低端产品，硬件配置较低并且受算力限制无法使用复杂算法，导致清晰度较低或视场角小。

技术实现思路

[0004]本申请实施例提供一种图像融合方法和电子设备，用于通过图像融合得到视场角大并且中心区域清晰度高的图像。
[0005]为达到上述目的，本申请的实施例采用如下技术方案：
[0006]第一方面，提供了一种图像融合方法，包括：响应于拍照命令，同时通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，第一摄像头的视场角大于第二摄像头的视场角，第二摄像头的像素数多于第一摄像头的像素；如果满足预设条件，对第二图像的特征点和第一图像的特征点进行匹配，得到第一图像中与第二图像具有重合区域的第三图像，并将第二图像缩小至重合区域的大小得到第四图像；对第三图像和第四图像的颜色和亮度进行一致性校正，对一致性校正后的第三图像和第四图像进行融合后替换第一图像中位于重合区域的图像，得到目标图像。
[0007]本申请实施例提供的图像融合方法，通过将视场角较大而像素数少(即清晰度低)的第一图像与视场角相对较小而像素数多(即清晰度高)的第二图像进行融合，得到的目标图像兼具大视场角和高清晰度，即通过图像融合得到视场角大并且中心区域清晰度高的图像。
[0008]在一种可能的实施方式中，在将第二图像缩小至重合区域的大小得到第四图像之后，还包括：将第四图像中多个图像块的特征点分别与第三图像的特征点进行匹配，其中，多个像素块的并集为第二图像，多个像素块中相邻两个像素块之间有部分重合；按照相同特征点将多个图像块分别与第三图像进行对齐；将对齐后的多个图像块进行融合得到更新后的第四图像。多个像素块的边缘有多余的像素点能够填充对齐时产生的空洞。
[0009]在一种可能的实施方式中，该方法还包括：对目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，过渡带指重合区域四周向内收缩多个像素形
成的环形区域。使得目标图像的清晰度从重合区域平滑过渡到非重合区域。
[0010]在一种可能的实施方式中，对目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，包括：对目标图像和第三图像的过渡带中的图像进行线性融合，其中，按照过渡带从最内侧至最外侧的顺序，第三图像的过渡带中各像素点乘以的加权系数从0依次增大至1，目标图像的过渡带中各像素点乘以的加权系数从1依次减小至0。即越靠近过渡带内侧目标图像(清晰度高)占比越大，越靠近过渡带外侧第三图像(清晰度低)占比越大，实现自然过渡效果。
[0011]在一种可能的实施方式中，该方法还包括：比较第三图像和第四图像中相同位置的亮度之差和色度之差以确定鬼影区域；将第三图像中位于鬼影区域的图像确定为目标图像中位于鬼影区域的图像。
[0012]在一种可能的实施方式中，满足预设条件包括以下条件的至少一项：第二图像为第二摄像头的焦距设置为最大时拍摄的图像，未处于高动态范围成像(high dynamic range imaging，HDR)场景，感光度小于感光度门限，第一图像和第二图像的亮度差小于亮度门限。一方面，由于中低端产品的广角摄像头是定焦的，而主摄像头是可变焦距的，在拍摄近景时，广角摄像头成像失焦或者由于镜头的呼吸效应(即摄像头在改变焦点时，焦距的轻微改变)而影响相机出图的质量，从而导致图像融合的效果不佳。因此，本申请要求相机应用于拍摄远景的场景，此时第二摄像头的焦距设置为最大，以保证主摄像头和定焦广角摄像头的成像效果近乎一致。另一方面，由于HDR场景以及暗光场景(感光度大于或等于感光度门限时)下需要多帧图像进行降噪处理或者动态范围融合处理，再加上图像畸变校正的耗时，整个算法处理的链路较长。中低端产品处理芯片的性能较差，无法实现对图像的快速处理，因此在这两种场景下不执行本申请的图像融合算法。当主摄像头或者广角摄像头被遮挡或者损坏时，可以通过比较两个摄像头输出图像(第一图像和第二图像)的亮度差异来判断是否发生异常，如果亮度差过大于一定阈值则表明摄像头异常，此时不执行本申请的图像融合算法。
[0013]在一种可能的实施方式中，第一摄像头为定焦广角摄像头，第二摄像头为主摄像头。该配置是中低端产品的通常配置。
[0014]第二方面，提供了一种电子设备，包括处理器和存储器，存储器中存储指令，当处理器执行指令时，如第一方面及其任一实施方式所述的方法被执行。
[0015]第三方面，提供了一种计算机可读存储介质，包括指令，当指令在电子设备上运行时，使得电子设备执行如第一方面及其任一实施方式所述的方法。
[0016]第四方面，提供了一种包含指令的计算机程序产品，当指令在上述电子设备上运行时，使得该电子设备执行如第一方面及其任一实施方式所述的方法。
[0017]第五方面，提供了一种芯片系统，该芯片系统包括处理器，用于支持电子设备实现上述第一方面中所涉及的功能。在一种可能的设计中，该装置还包括接口电路，接口电路可用于从其它装置(例如存储器)接收信号，或者，向其它装置(例如通信接口)发送信号。该芯片系统可以包括芯片，还可以包括其他分立器件。
[0018]第二方面至第五方面的技术效果参照第一方面及其任一实施方式的技术效果，在此不再重复。
附图说明
[0019]图1为本申请实施例提供的一种电子设备的结构示意图；
[0020]图2为本申请实施例提供的一种电子设备运行的软件架构的示意图；
[0021]图3为本申请实施例提供的一种广角摄像头和主摄像头拍摄图像对比的示意图；
[0022]图4为本申请实施例提供的一种图像融合方法的流程示意图；
[0023]图5为本申请实施例提供的一种触发拍照命令的示意图；
[0024]图6为本申请实施例提供的一种桶形畸变的示意图；
[0025]图7为本申请实施例提供的一种对两幅图像中的特征点进行匹配的示意图；
[0026]图8为本申请实施例提供的一种将图像划分为多个像素块的示意图；
[0027]图9为本申请实施例提供的一种重合区域与非重合区域之间的过渡带的示意图；
[0028]图10为本申请实施例提供的一种图像融合效果的示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：响应于拍照命令，通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第二摄像头的像素数多于所述第一摄像头的像素；如果满足预设条件，对所述第二图像的特征点和所述第一图像的特征点进行匹配，得到所述第一图像中与所述第二图像具有重合区域的第三图像，并将所述第二图像缩小至所述重合区域的大小得到第四图像；对所述第三图像和所述第四图像的颜色和亮度进行一致性校正，对一致性校正后的所述第三图像和所述第四图像进行融合后替换所述第一图像中位于所述重合区域的图像，得到目标图像。2.根据权利要求1所述的方法，其特征在于，在将所述第二图像缩小至所述重合区域的大小得到第四图像之后，还包括：将所述第四图像中多个图像块的特征点分别与所述第三图像的特征点进行匹配，其中，所述多个像素块的并集为所述第二图像，所述多个像素块中相邻两个像素块之间有部分重合；按照相同特征点将所述多个图像块分别与所述第三图像进行对齐；将对齐后的所述多个图像块进行融合得到更新后的所述第四图像。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：对所述目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，所述过渡带指所述重合区域四周向内收缩多个像素形成的环形区域。4.根据权利要求3所述的方法，其特征在于，所述对所述目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，包括：对所述目标图像和所述第三图像的...

【专利技术属性】
技术研发人员：郑耀国，陈卫，李俊科，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：