图像处理方法、装置、终端设备和存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、终端设备和存储介质。其中，方法包括：将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取所述原始人脸轮廓与所述模型人脸轮廓之间的至少一个未匹配轮廓段；针对每个未匹配轮廓段，将所述原始人脸轮廓上的所述未匹配轮廓段对应的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓。该方法可以使得不匹配的人脸部分不会出现在换脸后的图像中，为用户提供了更加真实的呈现效果，提升了用户的换脸体验。

Image processing method, device, terminal device and storage medium

The application discloses an image processing method, device, terminal device and storage medium. The method includes: comparing the original face contour of the target object with the preset model face contour, obtaining at least one unmatched contour segment between the original face contour and the model face contour, and matching the unmatched contour segment on the original face contour for each unmatched contour segment. The texture should be mapped onto the model face contour to obtain the target face contour of the target object. This method can make the mismatched face part not appear in the face-changing image, provide users with a more realistic rendering effect, and enhance the user's face-changing experience.

【技术实现步骤摘要】
图像处理方法、装置、终端设备和存储介质
本申请涉及图像处理
，尤其涉及一种图像处理方法、装置、终端设备和计算机可读存储介质。
技术介绍
用户在日常拍摄、社交等过程中，希望可以将一张图像中的人脸替换到另一张图像中，俗称换脸。现有的换脸应用常采用的做法是：通过贴图的方式直接将用户的人脸替换成模型(如明星)的人脸。但是，由于用户的脸型与模型脸型会存在差异，例如，用户人脸的脸型比较宽，模型的脸型比较窄，所呈现出的替换后的人脸的脸型容易出现不匹配的情况，所呈现的人脸效果不够真实，导致用户的换脸体验变差。
技术实现思路
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。为此，本申请的第一个目的在于提出一种图像处理方法。该方法可以使得不匹配的人脸部分不会出现在换脸后的图像中，为用户提供了更加真实的呈现效果，提升了用户的换脸体验。本申请的第二个目的在于提出一种图像处理装置。本申请的第三个目的在于提出一种终端设备。本申请的第四个目的在于提出一种计算机可读存储介质。为达到上述目的，本申请第一方面实施例提出的图像处理方法，包括：将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取所述原始人脸轮廓与所述模型人脸轮廓之间的至少一个未匹配轮廓段；针对每个未匹配轮廓段，将所述原始人脸轮廓上的所述未匹配轮廓段对应的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓。根据本申请实施例的图像处理方法，可将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取原始人脸轮廓与模型人脸轮廓之间的至少一个未匹配轮廓段，并针对每个未匹配轮廓段，将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上，得到目标对象的目标人脸轮廓。即在目标对象的原始人脸轮廓与待替换的模型人脸轮廓不匹配时，通过将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上的方式，得到所述目标对象替换后的人脸轮廓，使得不匹配的人脸部分不会出现在换脸后的图像中，为用户提供了更加真实的呈现效果，提升了用户的换脸体验。为达到上述目的，本申请第二方面实施例提出的图像处理装置，包括：匹配轮廓段获取模块，用于将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取所述原始人脸轮廓与所述模型人脸轮廓之间的至少一个未匹配轮廓段；处理模块，用于针对每个未匹配轮廓段，将所述原始人脸轮廓上的所述未匹配轮廓段对应的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓。根据本申请实施例的图像处理装置，可通过匹配轮廓段获取模块将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取原始人脸轮廓与模型人脸轮廓之间的至少一个未匹配轮廓段，处理模块针对每个未匹配轮廓段，将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上，得到目标对象的目标人脸轮廓。即在目标对象的原始人脸轮廓与待替换的模型人脸轮廓不匹配时，通过将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上的方式，得到所述目标对象替换后的人脸轮廓，使得不匹配的人脸部分不会出现在换脸后的图像中，为用户提供了更加真实的呈现效果，提升了用户的换脸体验。为达到上述目的，本申请第三方面实施例提出的终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例所述的图像处理方法。为达到上述目的，本申请第四方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面实施例所述的图像处理方法。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本申请一个实施例的图像处理方法的流程图；图2是根据本申请一个具体实施例的图像处理方法的流程图；图3是根据本申请一个实施例的图像处理装置的结构示意图；图4是根据本申请一个具体实施例的图像处理装置的结构示意图；图5是根据本申请另一个具体实施例的图像处理装置的结构示意图；图6是根据本申请又一个具体实施例的图像处理装置的结构示意图；图7是根据本申请再一个具体实施例的图像处理装置的结构示意图；图8是根据本申请一个实施例的终端设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的图像处理方法、装置、终端设备和计算机可读存储介质。图1是根据本申请一个实施例的图像处理方法的流程图。需要说明的是，本申请实施例的图像处理方法可适用于目标对象的自拍或直播场景中，可应用于本申请实施例的图像处理装置，该图像处理装置可配置于终端设备上。其中，该终端设备可以是PC机、移动终端等，例如，可以是手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。如图1所示，该图像处理方法可以包括：S110，将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取原始人脸轮廓与模型人脸轮廓之间的至少一个未匹配轮廓段。具体地，可先获取所述目标对象的人脸三维模型，并从该人脸三维模型中提取该目标对象的人脸轮廓作为所述原始人脸轮廓。作为一种示例，所述目标对象的人脸三维模型可以通过以下方式获得：可采集所述目标对象的多帧人脸图像，并对该多帧人脸图像进行关键点提取并重建，得到所述目标对象的人脸三维模型。在得到所述目标对象的原始人脸轮廓时，可将该目标对象的原始人脸轮廓与模型人脸轮廓进行大小比较，若该原始人脸轮廓与模型人脸轮廓大小匹配，则无需对该原始人脸轮廓进行拉伸或挤压操作，可直接将该原始人脸轮廓替换成所述模型人脸轮廓，即得到所述目标对象的目标人脸轮廓。如果该原始人脸轮廓与模型人脸轮廓的大小不匹配，则可获取该原始人脸轮廓与模型人脸轮廓之间的未匹配轮廓段。S120，针对每个未匹配轮廓段，将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上，得到目标对象的目标人脸轮廓。作为一种示例，可先扩大该原始人脸轮廓，针对每个未匹配轮廓段，可根据原始人脸轮廓和扩大后的人脸轮廓上的特征点，得到该原始人脸轮廓上未匹配轮廓段对应的第一纹理信息，并根据模型人脸轮廓和扩大后的人脸轮廓上的特征点，得到该模型人脸轮廓上未匹配轮廓段对应的第二纹理信息，将该第一纹理信息映射到对应的第二纹理信息，得到所述目标对象的目标人脸轮廓。根据本申请实施例的图像处理方法，可将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取原始人脸轮廓与模型人脸轮廓之间的至少一个未匹配轮廓段，并针对每个未匹配轮廓段，将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上，得到目标对象的目标人脸轮廓。即在目标对象的原始人脸轮廓与待替换的模型人脸轮廓不匹配时，通过将原始人脸轮廓上的未匹配轮廓段对应的纹理映射到模型人脸轮廓上的方式，得到所述目标对象替换后的人脸轮廓，使得不匹配的人脸部分不会出现在换脸后的图像中，为用户提供了更加真实的呈现效果，提升了用户的换脸体验。图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括以下步骤：将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取所述原始人脸轮廓与所述模型人脸轮廓之间的至少一个未匹配轮廓段；针对每个未匹配轮廓段，将所述原始人脸轮廓上的所述未匹配轮廓段对应的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括以下步骤：将目标对象的原始人脸轮廓与预设的模型人脸轮廓进行比较，获取所述原始人脸轮廓与所述模型人脸轮廓之间的至少一个未匹配轮廓段；针对每个未匹配轮廓段，将所述原始人脸轮廓上的所述未匹配轮廓段对应的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓。2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述原始人脸轮廓上的所述未匹配轮廓段的纹理映射到所述模型人脸轮廓上，得到所述目标对象的目标人脸轮廓，包括：扩大所述原始人脸轮廓以生成参考人脸轮廓；针对每个未匹配轮廓段，根据所述原始人脸轮廓上未匹配轮廓段的第一特征点和所述参考人脸轮廓上与所述第一特征点对应的第二特征点，得到所述原始人脸轮廓上未匹配轮廓段对应的第一纹理信息；根据所述模型人脸轮廓上未匹配轮廓段的第三特征点和所述参考人脸轮廓上的所述第二特征点，得到所述模型人脸轮廓上未匹配轮廓段对应的第二纹理信息；以第二纹理信息为参照，对所述第一纹理信息进行纹理映射，得到所述目标人脸轮廓。3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述原始人脸轮廓上未匹配轮廓段的第一特征点和所述参考人脸轮廓上与所述第一特征点对应的第二特征点，得到所述原始人脸轮廓上未匹配轮廓段对应的第一纹理信息，包括：基于所述原始人脸轮廓上所述第一特征点和所述第二特征点，形成第一未匹配区域；对所述第一未匹配区域进行三角剖分，得到多个第一三角区域，提取每个第一三角区域的纹理信息，作为所述第一纹理信息；所述根据所述模型人脸轮廓上未匹配轮廓段的第三特征点和所述参考人脸轮廓上的所述第二特征点，得到所述模型人脸轮廓上未匹配轮廓段对应的第二纹理信息，包括：基于所述模型人脸轮廓上所述第三特征点和所述参考人脸轮廓上所述第二特征点，形成第二未匹配区域；对所述第二未匹配区域进行三角剖分，得到多个第二三角区域，提取每个第二三角区域的纹理信息，作为所述第二纹理信息。4.根据权利要求3所述的图像处理方法，其特征在于，所述以第二纹理信息为参照，对所述第一纹理信息进行纹理映射，还包括：确定所述未匹配人脸轮廓段的未匹配类型；根据所述未匹配类型，确定所述第一纹理信息的纹理映射方式；按照所述纹理映射方式，将所述第一三角区域对应的第一纹理信息，映射到所述第二三角区域，其中，所述第一三角区域上的特征点与所述第二三角区域上的特征点为对应的特征点。5.根据权利要求4所述的图像处理方法，其特征在于，在得到所述目标人脸轮廓之后，还包括：当所述未匹配轮廓段为所述原始人脸轮廓超出所述模型人脸轮廓的轮廓段时，提取所述未匹配轮廓段周围的背景图像特征；根据所述背景图像特征，填充所述原始人脸轮廓上未匹配轮廓段与所述模型人脸轮廓上未匹配轮廓段构成的区域。6.根据权利要求2所述的图像处理方法，其特征在于，扩大所述原始人脸轮廓以生成参考人脸轮廓，包括：从所述原始人脸轮廓上选取两个轮廓点；确定所述两个轮廓点之间的中心点；以所述中心点为放射点，将所述原始人脸轮廓上的轮廓点同比例扩大预设倍数，得到所述参考人脸轮廓。7.根据权利要求1所述的图像处理方法，其特征在于，在得到所述目标人脸轮廓之后，还包括：获取与所述模型人脸轮廓匹配的美妆信息；根据所述美妆信息，对所述目标人脸轮廓内的人脸进行美化处理。8.根据权利要求1所述的图像处理方法，其特征在于，在得到所述目标人脸轮廓之后，还包括：对所述目标对象进行图像采集，识别所述目标对象的器官特征点；根据所述器官特征点的移动轨迹，获取所述目标对象的表情变化信息；根据所述表情变化信息，调整所述目标人脸轮廓内的人脸中的表情。9.一种图像处理装置，其特征在于，包括：匹配轮...

【专利技术属性】
技术研发人员：冯宇飞，李旭刚，
申请(专利权)人：北京微播视界科技有限公司，
类型：发明
国别省市：北京,11