基于眼部状态检测的图像处理方法、装置及存储介质制造方法及图纸

本公开提供了一种基于眼部状态检测的图像处理方法、装置、设备及存储介质，所述方法包括：对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开基于眼部状态检测确定每张人脸的目标效果图像，然后将各个目标效果图像合成至预设基准图像中，能够提高目标图像中每个人的眼部状态效果，保证目标图像的质量，提高用户对目标图像的满意度。

【技术实现步骤摘要】
基于眼部状态检测的图像处理方法、装置及存储介质
本公开涉及图片数据处理领域，尤其涉及一种基于眼部状态检测的图像处理方法、装置、设备及存储介质。
技术介绍
在拍摄照片时，经常会因为照片中有人的眼部状态不理想等问题，导致需要重拍，甚至反复重拍的情况发生。尤其是在多人拍摄合影时，更容易出现由于“有人闭眼”、“有人未注视镜头”等情况导致的反复拍摄问题，影响人们的拍摄体验。另外，目前通常是基于反复拍摄得到的多张照片，人工选择出大多数人的眼部状态较理想的照片作为最终的合影照片。由于选择出的合影照片中一定程度上还会存在有人眼部状态不理想的情况，无法在合影照片中展现出本次拍摄过程中每个人的眼部最佳状态，因此一定程度上降低了用户对最终的合影照片的满意度。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于眼部状态检测的图像处理方法、装置、设备及存储介质，能够改善合影照片中每个人的眼部状态效果，保证了合影照片的质量，提高了用户对最终的合影照片的满意度。第一方面，本公开提供了一种基于眼部状态检测的图像处理方法，所述方法包括：对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：从待处理图像集中确定同一张人脸的人脸图像；对所述人脸的人脸图像进行眼部状态检测，得到所述人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。一种可选的实施方式中，所述对所述人脸的人脸图像进行眼部状态检测，包括：从所述人脸的人脸图像中提取所述人脸的人眼图像；对所述人脸的人眼图像进行眼部状态检测。一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：从待处理图像集中确定同一张人脸的人眼图像；对所述人脸的人眼图像进行眼部状态检测，得到所述人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。一种可选的实施方式中，所述对所述人脸的人眼图像进行眼部状态检测，包括：确定所述人脸的人眼图像中的人眼关键点的位置信息；基于所述人眼关键点的位置信息，确定所述人眼图像对应的眼睛状态。一种可选的实施方式中，所述确定所述人脸的人眼图像中的人眼关键点的位置信息，包括：将所述人脸的人眼图像输入到第一模型中，经过所述第一模型的处理后，输出所述人眼图像中的人眼关键点的位置信息；其中，所述第一模型是基于标记有人眼关键点的人眼图像样本训练得到。一种可选的实施方式中，所述对所述人脸的人眼图像进行眼部状态检测，包括：确定所述人脸的人眼图像中的人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值；基于所述人眼状态值，确定所述人眼图像对应的眼睛状态。一种可选的实施方式中，所述确定所述人脸的人眼图像中的人眼状态值，包括：将所述人脸的人眼图像输入至第二模型中，经过所述第二模型的处理后，输出所述人眼图像中的人眼状态值；其中，所述第二模型是基于标记有人眼状态值的人眼图像样本训练得到。一种可选的实施方式中，所述人眼图像对应的眼睛状态是结合人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值以及所述人眼状态值确定；所述比例值是基于所述人眼关键点的位置信息确定。一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测之前，还包括：响应于按下快门键的触发操作，获取包含当前图像帧和以所述当前图像帧为结束帧的连续至少两帧预览图像，作为待处理图像集。一种可选的实施方式中，所述将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像之前，还包括：将所述待处理图像集中按下快门键对应的当前图像帧，确定为基准图像。一种可选的实施方式中，所述基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像，包括：将所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像中，眼睛开合程度值最大的目标区域图像，确定为所述人脸对应的目标效果图像。一种可选的实施方式中，所述从待处理图像集中确定同一张人脸的人脸图像，包括：对待处理图像集中的基准图像进行人脸检测，确定所述基准图像上各个人脸的位置信息；根据所述人脸的位置信息，确定所述待处理图像集中的图像上与所述位置信息对应的人脸图像，作为所述人脸的人脸图像。一种可选的实施方式中，所述从待处理图像集中确定同一张人脸的人脸图像，包括：分别对待处理图像集中的每张图像进行人脸检测，得到人脸图像；将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。第二方面，本公开提供了一种基于眼部状态检测的图像处理装置，所述装置包括：第一检测模块，用于对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；第一确定模块，用于基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；合成模块，用于将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供了一种基于眼部状态检测的图像处理方法，首先对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开基于眼部状态检测确定每张人脸的目标效果图像，然后将各个目标效果图像合成至预设基准图像中，能够提高最终得到的目标图像中每个人的眼部状态效果，保证了目标图像的质量，一定程度上提高了用户对目标图本文档来自技高网...

【技术保护点】
1.一种基于眼部状态检测的图像处理方法，其特征在于，所述方法包括：/n对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；/n基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；/n将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。/n

【技术特征摘要】
1.一种基于眼部状态检测的图像处理方法，其特征在于，所述方法包括：
对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。


2.根据权利要求1所述的方法，其特征在于，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人脸图像；
对所述人脸的人脸图像进行眼部状态检测，得到所述人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。


3.根据权利要求2所述的方法，其特征在于，所述对所述人脸的人脸图像进行眼部状态检测，包括：
从所述人脸的人脸图像中提取所述人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测。


4.根据权利要求1所述的方法，其特征在于，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测，得到所述人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。


5.根据权利要求3或4所述的方法，其特征在于，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼关键点的位置信息；
基于所述人眼关键点的位置信息，确定所述人眼图像对应的眼睛状态。


6.根据权利要求5所述的方法，其特征在于，所述确定所述人脸的人眼图像中的人眼关键点的位置信息，包括：
将所述人脸的人眼图像输入到第一模型中，经过所述第一模型的处理后，输出所述人眼图像中的人眼关键点的位置信息；其中，所述第一模型是基于标记有人眼关键点的人眼图像样本训练得到。


7.根据权利要求3或4所述的方法，其特征在于，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值；
基于所述人眼状态值，确定所述人眼图像对应的眼睛状态。


8.根据权利要求7所述的方法，其特征在于，所述确定所述人脸的人眼图像中的人眼状态值，包括：
将所述人脸的人眼图像输入至第二模型中，经过所述第二模型的处理后，输出所述人眼图像中的人眼状态值；其中，所述第二模型是基于标记有人眼状态值的人眼图像样本训练得到。

【专利技术属性】
技术研发人员：徐旺，陈光辉，许译天，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11