一种图像处理方法、相关设备及计算机可读存储介质技术

本申请实施例提供了一种图像处理方法、相关设备及计算机可读存储介质，其中方法包括：获取待处理的眼部图像，眼部图像包括第一眼部区域的图像和第二眼部区域的图像；通过视线矫正网络对眼部图像进行处理，得到目标矫正图像，该视线矫正网络是基于仿真眼部样本图像和目标域的真实眼部样本图像训练得到的，仿真眼部样本图像是通过对源域的虚拟眼部样本图像进行迁移学习得到的；利用目标矫正图像对第一眼部区域和第二眼部区域进行填充处理，得到矫正后的眼部图像，可以应用在基于大数据技术和人工智能计算机视觉技术的图像处理场景中，通过双眼约束以及数据的领域迁移，可以便捷、准确地对图像中的眼部视线进行矫正，实现真实自然的矫正效果。然的矫正效果。然的矫正效果。

【技术实现步骤摘要】
一种图像处理方法、相关设备及计算机可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、相关设备及计算机可读存储介质。

技术介绍

[0002]在常见的视频会话场景中，例如在线视频会议，用户的眼睛通常是注视摄像头下方的屏幕，而不是直视摄像头，这种视差会降低视频会话场景中用户的真实参与感，因此有必要对用户的视线进行矫正，具体可以通过算法将图像或视频中人像的眼部区域进行微调，达到眼神视线方向可被定向调整的效果。
[0003]目前，视线矫正的方案大多是基于几何形变对眼部区域进行调整，该方案需要精确计算面部或眼部区域的关键点以及人的头部和眼部相对于摄像头、屏幕的位置，利用精确的相对位置关系和关键点才能计算出需要调整的强度和方向，实现难度较大，准确度较低，特别是当眼球偏移方向较大或者矫正强度值比较大时，矫正结果的自然度和真实度往往比较差。因此，如何便捷、准确地对视线进行矫正，以达到良好的矫正效果已成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种图像处理方法、相关设备及计算机可读存储介质，可以通过双眼约束以及数据的领域迁移，便捷、准确地对眼部视线进行矫正，实现真实自然的矫正效果。
[0005]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0006]获取待处理的眼部图像，所述眼部图像包括第一眼部区域的图像和第二眼部区域的图像。
[0007]通过视线矫正网络对所述眼部图像进行处理，得到目标矫正图像，所述视线矫正网络是基于仿真眼部样本图像和目标域的真实眼部样本图像训练得到的，所述仿真眼部样本图像是通过对源域的虚拟眼部样本图像进行迁移学习得到的。
[0008]利用所述目标矫正图像对所述第一眼部区域和所述第二眼部区域进行填充处理，得到矫正后的眼部图像。
[0009]第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
[0010]获取模块，用于获取待处理的眼部图像，所述眼部图像包括第一眼部区域的图像和第二眼部区域的图像。
[0011]处理模块，用于通过视线矫正网络对所述眼部图像进行处理，得到目标矫正图像，所述视线矫正网络是基于仿真眼部样本图像和目标域的真实眼部样本图像训练得到的，所述仿真眼部样本图像是通过对源域的虚拟眼部样本图像进行迁移学习得到的。
[0012]所述处理模块，还用于利用所述目标矫正图像对所述第一眼部区域和所述第二眼部区域进行填充处理，得到矫正后的眼部图像。
[0013]第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、网络接口和存储装置，所述处理器、网络接口和存储装置相互连接，其中，所述网络接口受所述处理器的控制用于收发数据，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用于执行第一方面所述的图像处理方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行第一方面所述的图像处理方法。
[0015]第五方面，本申请实施公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的图像处理方法。
[0016]本申请实施例中，计算机设备可以获取待处理的眼部图像，眼部图像包括第一眼部区域的图像和第二眼部区域的图像，通过视线矫正网络对眼部图像进行处理，得到目标矫正图像，视线矫正网络是基于仿真眼部样本图像和目标域的真实眼部样本图像进行训练得到的，仿真眼部样本图像是通过对源域的虚拟眼部样本图像进行迁移学习得到的，然后利用目标矫正图像对第一眼部区域和第二眼部区域进行填充处理，得到矫正后的眼部图像，通过双眼约束以及数据的领域迁移，可以便捷、准确地对眼部视线进行矫正，且矫正效果真实自然。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的一种图像处理系统的架构示意图；
[0020]图2是本申请实施例提供的一种图像处理方法的流程示意图；
[0021]图3是本申请实施例提供的另一种图像处理方法的流程示意图；
[0022]图4a是本申请实施例提供的一种眼部图像的示意图；
[0023]图4b是本申请实施例提供的另一种眼部图像的示意图；
[0024]图4c是本申请实施例提供的一种眼部视线矫正的整体流程示意图；
[0025]图4d是本申请实施例提供的另一种眼部视线矫正的整体流程示意图；
[0026]图4e是本申请实施例提供的一种网络训练的整体流程示意图；
[0027]图5是本申请实施例提供的一种图像处理装置的结构示意图；
[0028]图6是本申请实施例提供的一种计算机设备的结构示意图。
的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
[0037]机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0038]本申请实施例主要涉及云
的云计算、大数据技术以及人工智能领域的计算机视觉、机器学习技术，可以用于图像中人眼视线的矫正处理，以下对本申请的具体实施方式进行详细介绍。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的眼部图像，所述眼部图像包括第一眼部区域的图像和第二眼部区域的图像；通过视线矫正网络对所述眼部图像进行处理，得到目标矫正图像，所述视线矫正网络是基于仿真眼部样本图像和目标域的真实眼部样本图像训练得到的，所述仿真眼部样本图像是通过对源域的虚拟眼部样本图像进行迁移学习得到的；利用所述目标矫正图像对所述第一眼部区域和所述第二眼部区域进行填充处理，得到矫正后的眼部图像。2.根据权利要求1所述的方法，其特征在于，所述通过视线矫正网络对所述眼部图像进行处理，得到目标矫正图像，包括：通过视线矫正网络对所述第一眼部区域的图像和所述第二眼部区域的图像进行拼接处理，得到拼接后的图像数据；通过所述视线矫正网络对所述拼接后的图像数据进行处理，得到目标矫正图像。3.根据权利要求1或2所述的方法，其特征在于，所述通过视线矫正网络对所述眼部图像进行处理，得到目标矫正图像之前，所述方法还包括：获取源域的虚拟眼部样本图像和目标域的真实眼部样本图像；通过数据迁移网络对所述虚拟眼部样本图像进行处理，得到仿真眼部样本图像；利用所述真实眼部样本图像和所述仿真眼部样本图像对第一生成网络进行训练，得到视线矫正网络。4.根据权利要求3所述的方法，其特征在于，所述通过数据迁移网络对所述虚拟眼部样本图像进行处理，得到目标域的仿真眼部样本图像之前，所述方法还包括：利用所述虚拟眼部样本图像和所述真实眼部样本图像对第二生成网络进行训练，得到数据迁移网络。5.根据权利要求4所述的方法，其特征在于，所述利用所述虚拟眼部样本图像和所述真实眼部样本图像对第二生成网络进行训练，得到数据迁移网络，包括：将所述虚拟眼部样本图像输入第二生成网络，得到第一预测眼部图像；根据所述第一预测眼部图像和所述真实眼部样本图像确定所述第二生成网络的网络损失；利用所述网络损失调整所述第二生成网络的网络参数，得到数据迁移网络。6.根据权利要求3所述的方法，其特征在于，所述利用所述真实眼部样本图像和所述仿真眼部样本图像对第一生成网络进行训练，得到视线矫正网络，包括：根据所述真实眼部样本图像和所述仿真眼部样本图像，确定第一生成网络的训练数据和监督数据，所述训练数据包括所述真实眼部样本图像和所述仿真眼部样本图像中的一种或两种，所述监督数据包括所述真实眼部样本图像；利用所述训练数据和所述监督数据对第一生成网络进行训练，得到视线矫正网络。7.根据权利要求6所述的方法，其特征在于，所述利用所述训练数据和所述监督数据对第一生成网络进行训练，得到视线矫正网络，包括：将所述训练数据输入第一生成网络，得到第二预测眼部图像；根据所述第二预测眼部图像和所述监督数据确定所述第一生成网络的网络损失；
利用所述网络损失调整所述...

【专利技术属性】
技术研发人员：易阳，余晓铭，周易，涂娟辉，李峰，左小祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：