一种图像处理方法、装置、设备及存储介质制造方法及图纸

本申请公开一种图像处理方法、装置、设备及存储介质，该方法包括：对人眼图像进行眼球追踪，确定用户的注视信息；基于第二图像对第一图像进行裁剪，得到与第二图像的至少部分视场角重叠的第一子图像，及第二子图像；基于注视信息对第一子图像和目标第二图像进行加权得到加权图像；对加权图像和第二子图像进行拼接得到拍摄图像。如此，通过眼球追踪技术，实时确定用户的注视信息，注视信息用于说明用户比较注重的图像细节，例如第二拍摄装置的视场角之内还是之外，再视具体情况对第一子图像和第二图像进行加权处理，以突出用户注重的图像细节，再与第二子图像拼接得到拍摄图像，这样拍摄时能够同时兼顾视场角不同的双拍摄装置的拍摄细节。拍摄细节。拍摄细节。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]目前配置有双摄像头的电子设备在拍摄图像时，是对视场角(Field of View，FOV)相同的双摄像头所采集的图像数据进行融合。FOV指的是摄像头所能覆盖的范围。
[0003]当电子设备上配置的双摄像头的FOV不相同时，例如超广角摄像头和长焦摄像头，现有融合方法无法对FOV不同的双摄像头所采集的图像数据进行融合，这就导致了拍摄时无法同时兼顾FOV不相同的两个摄像头的拍摄细节的情况。

技术实现思路

[0004]本申请期望提供一种图像处理方法、装置、设备及存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，提供了一种图像处理方法，所述方法包括：
[0007]获取位于同侧的第一拍摄装置采集的第一图像和第二拍摄装置采集的第二图像，以及获取第三拍摄装置采集的人眼图像；所述第一拍摄装置的视场角大于所述第二拍摄装置的视场角；
[0008]对所述人眼图像进行眼球追踪，确定用户的注视信息；
[0009]基于所述第二图像对所述第一图像进行裁剪，得到所述第一图像中与所述第二图像的至少部分视场角重叠的第一子图像，以及第二子图像；
[0010]基于所述注视信息对视场角重叠的所述第一子图像和目标第二图像进行加权处理，得到加权图像；所述目标第二图像为所述第二图像或者所述第二图像中的部分图像；
[0011]对所述加权图像和所述第二子图像进行拼接处理，得到拍摄图像。
[0012]第二方面，提供了一种图像处理装置，所述装置包括：
[0013]获取单元，用于获取位于同侧的第一拍摄装置采集的第一图像和第二拍摄装置采集的第二图像，以及获取第三拍摄装置采集的人眼图像；所述第一拍摄装置的视场角大于所述第二拍摄装置的视场角；
[0014]确定单元，用于对所述人眼图像进行眼球追踪，确定用户的注视信息；
[0015]裁剪单元，用于基于所述第二图像对所述第一图像进行裁剪，得到所述第一图像中与所述第二图像的至少部分视场角重叠的第一子图像，以及第二子图像；
[0016]处理单元，用于基于所述注视信息对视场角重叠的所述第一子图像和目标第二图像进行加权处理，得到加权图像；所述目标第二图像为所述第二图像或者所述第二图像中的部分图像；对所述加权图像和所述第二子图像进行拼接处理，得到拍摄图像。
[0017]第三方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行第一方面的方法的步骤。
[0018]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现第一方面的方法的步骤。
[0019]本申请实施例公开一种图像处理方法、装置、设备及存储介质，通过眼球追踪技术，实时确定用户的注视信息，注视信息用于说明用户比较注重的图像细节，例如第二拍摄装置的视场角之内还是之外，再视具体情况对第一子图像和第二图像进行加权处理，以突出用户注重的图像细节，再与第二子图像拼接得到拍摄图像，这样拍摄时能够同时兼顾视场角不同的双拍摄装置的拍摄细节。
附图说明
[0020]图1为本申请实施例中图像处理方法的第一流程示意图；
[0021]图2为本申请实施例中示例的一种第一拍摄装置的视场角与第二拍摄装置的视场角示意图；
[0022]图3为本申请实施例中图像处理方法的第二流程示意图；
[0023]图4为本申请实施例中示例的一种用户注视第二拍摄装置的视场角之外的场景示意图；
[0024]图5为本申请实施例中图像处理方法的第三流程示意图；
[0025]图6为本申请实施例中示例的一种用户注视第二拍摄装置的视场角之内的场景示意图1；
[0026]图7为本申请实施例中图像处理方法的第三流程示意图；
[0027]图8为本申请实施例中示例的一种用户注视第二拍摄装置的视场角之内的场景示意图2；
[0028]图9为本申请实施例中图像处理方法的第四流程示意图；
[0029]图10为本申请实施例中示例的一种用户注视第二拍摄装置的视场角之内的场景示意图3；
[0030]图11为本申请实施例中图像处理方法的第五流程示意图；
[0031]图12为本申请实施例中图像处理装置组成结构的示意图；
[0032]图13为本申请实施例中电子设备组成结构的示意图。
具体实施方式
[0033]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0034]本申请实施例提供了一种图像处理方法，图1为本申请实施例中图像处理方法的第一流程示意图，该图像处理方法应用于电子设备，示例性的，电子设备可以是手机、平板等。
[0035]如图1所示，该图像处理方法具体可以包括：
[0036]步骤101：获取位于同侧的第一拍摄装置采集的第一图像和第二拍摄装置采集的第二图像，以及获取第三拍摄装置采集的人眼图像；第一拍摄装置的视场角大于第二拍摄装置的视场角。
[0037]实际应用中，第一拍摄装置和第二拍摄装置为电子设备的后置摄像装置，第三拍
摄装置为电子设备的前置摄像装置。这里，第一拍摄装置的视场角大于第二拍摄装置的视场角，视场角指的是摄像装置所能覆盖的范围，也就是说，第一拍摄装置所能覆盖的范围大于第二拍摄装置所能覆盖的范围，第二拍摄装置所能覆盖的范围是第一拍摄装置所能覆盖的范围中的一部分(图2为本申请实施例示例的一种情况)。示例性的，第一拍摄装置为超广角摄像装置，第二拍摄装置为长焦摄像装置；或者，第一拍摄装置为超广角摄像装置，第二拍摄装置为主摄像装置；或者，第一拍摄装置为广角摄像装置，第二拍摄装置为主摄像装置。
[0038]步骤102：对人眼图像进行眼球追踪，确定用户的注视信息。
[0039]实际应用中，通过第三拍摄装置实时采集人眼图像，并对人眼图像进行眼球追踪，以实时确定用户的注视信息。这里，注视信息可以理解为用户比较注重的区域图像的相关信息。
[0040]具体的，基于预设的眼球追踪模型对人眼图像进行处理，得到用户的注视信息。
[0041]步骤103：基于第二图像对第一图像进行裁剪，得到第一图像中与第二图像的至少部分视场角重叠的第一子图像，以及第二子图像。
[0042]需要说明的是，对两张图像进行加权处理(步骤104中)时，针对的是视场角重叠(或相同)的两张图像，加上第一图像的视场角大于第二图像的视场角，因此，需要确定两张图像中视场角重叠区域的图像。
[0043]在一种可能的实现方式中，当用户想同时兼顾第二图像和第一图像的图像细节时，可基于第二图像的视场角对第一图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取位于同侧的第一拍摄装置采集的第一图像和第二拍摄装置采集的第二图像，以及获取第三拍摄装置采集的人眼图像；所述第一拍摄装置的视场角大于所述第二拍摄装置的视场角；对所述人眼图像进行眼球追踪，确定用户的注视信息；基于所述第二图像对所述第一图像进行裁剪，得到所述第一图像中与所述第二图像的至少部分视场角重叠的第一子图像，以及第二子图像；基于所述注视信息对视场角重叠的所述第一子图像和目标第二图像进行加权处理，得到加权图像；所述目标第二图像为所述第二图像或者所述第二图像中的部分图像；对所述加权图像和所述第二子图像进行拼接处理，得到拍摄图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述注视信息对视场角重叠的所述第一子图像和目标第二图像进行加权处理，得到加权图像，包括：基于所述注视信息，确定所述第一子图像的第一权重系数和所述目标第二图像的第二权重系数；基于所述第一子图像、所述第一权重系数、所述目标第二图像和所述第二权重系数进行加权处理，得到所述加权图像。3.根据权利要求2所述的方法，其特征在于，所述注视信息包括：注视位置；所述基于所述注视信息，确定所述第一子图像的第一权重系数和所述目标第二图像的第二权重系数，包括：确定所述注视位置位于所述第二拍摄装置的视场角之外时，所述第一权重系数大于所述第二权重系数；确定所述注视位置位于所述第二拍摄装置的视场角之内时，所述第一权重系数小于或者等于所述第二权重系数。4.根据权利要求3所述的方法，其特征在于，所述注视信息还包括注视时长；所述基于所述注视信息，确定所述第一子图像的第一权重系数和所述目标第二图像的第二权重系数，包括：确定所述注视位置位于所述第二拍摄装置的视场角之内，且所述注视时长未超过第一预设时长时，所述第一权重系数等于所述第二权重系数；确定所述注视位置位于所述第二拍摄装置的视场角之内，且所述注视时长超过所述第一预设时长时，所述第一权重系数小于所述第二权重系数。5.根据权利要求1所述的方法，其特征在于，所述基于所述第二图像对所述第一图像进行裁剪，得到所述第一图像中与所述第二图像的至少部分视场角重叠的第一子图像，以及第二子图像，包括：基于所述第二图像的视场角对所述第一图像进行裁剪，得到所述第一图像中与所述第二图像的视场角重叠的第一子图像，以及所述第二子图像。6.根据权利要求1所述的方法，其特征在于，所述注视信息包括：注视位置...

【专利技术属性】
技术研发人员：樊明兴，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：