图像处理方法及其装置制造方法及图纸

本申请公开了一种图像处理方法及其装置，属于通信技术领域。方法包括：获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。述第一部位的第二图像。述第一部位的第二图像。

【技术实现步骤摘要】
图像处理方法及其装置


[0001]本申请属于图像处理
，具体涉及一种图像处理方法及其装置。

技术介绍

[0002]三维(3 Dimensions，3D)人脸重建技术能够还原二维(2 Dimensions，2D)人脸图像中人脸的三维形状，在动画制作、网络游戏等领域具有较高的应用价值，具有广泛的应用前景。
[0003]目前，电子设备在光照正常、无遮挡和无大角度快速运动的正常场景下重建的3D人脸可以做到较高的重建精度，但是在暗光、遮挡、大角度运动等极端场景重建的3D人脸，极易出现重建精度下降、点位不准、飘飞的情况。可见，现有电子设备的三维重建的可靠性较低。

技术实现思路

[0004]本申请实施例的目的是提供一种图像处理方法及其装置，能够解决现有技术中电子设备在三维重建时可靠性较低的问题。
[0005]第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，该方法包括：
[0006]获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
[0007]获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
[0008]根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
[0009]第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，包括：
[0010]第一获取模块，用于获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；
[0011]第二获取模块，用于获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；
[0012]第一生成模块，用于根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。
[0013]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0014]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0015]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0016]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0017]在本申请实施例中，获取包括第一对象的第一区域的第一图像之后，可以获取佩戴在第一拍摄对象的第二部位的第一设备采集到的第一拍摄对象的第一部位在第一时刻的姿态信息，并基于该姿态信息对第一部位进行三维重建，得到三维重建后的第一部位的第二图像，其中，第一对象为第一拍摄对象在第一图像中的成像，第一区域为第一部位在第一图像中的成像区域，第一时刻为第一图像的采集时刻。可见，本申请实施例可以凭借佩戴在拍摄对象的第二部位的第一设备所采集的第一部位的第一姿态信息，对拍摄对象的第一部位进行三维重建。由于第一部位的姿态信息由佩戴在拍摄对象上的设备采集，可以不受图像采集场景的限制，保证第一部位的姿态信息的获取准确性，从而可以提高三维重建的可靠性。
附图说明
[0018]图1是本申请实施例提供的图像处理方法流程图之一；
[0019]图2是本申请实施例提供的姿态信息的示意图；
[0020]图3是本申请实施例提供的图像采集场景的示意图；
[0021]图4a是本申请实施例提供的图像处理算法的示意图之一；
[0022]图4b是本申请实施例提供的图像处理算法的示意图之二；
[0023]图5是本申请实施例提供的图像处理方法流程图之二；
[0024]图6a是本申请实施例提供的第一图像的示意图；
[0025]图6b是本申请实施例提供的第一区域的示意图；
[0026]图7是本申请实施例提供的图像处理效果的示意图之一；
[0027]图8a是本申请实施例提供的图像处理效果的示意图之二；
[0028]图8b是本申请实施例提供的图像处理效果的示意图之三；
[0029]图9是本申请实施例提供的图像处理装置的结构图；
[0030]图10是本申请实施例提供的电子设备的结构图之一；
[0031]图11是本申请实施例提供的电子设备的结构图之二。
具体实施方式
[0032]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0033]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互
换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0034]随着增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术的发展，目前的图像处理开始从2D向3D发展，在电子设备，尤其是手机上，三维人脸重建就是这一发展趋势中的一项重要技术。
[0035]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
[0036]图1是本申请实施例提供的图像处理方法的流程示意图之一。本申请实施例的图像处理方法可以应用于电子设备，或，由电子设备执行。在实际应用中，电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级被用户握持个人计算机(Ultra
‑
Mobile Personal Computer，UMPC)、被用户握持上网装置(Mobile Internet Device，MID)、增强现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像，其中，所述第一图像包括第一对象的第一区域，所述第一对象为第一拍摄对象在所述第一图像中的成像，所述第一区域为所述第一拍摄对象的第一部位在所述第一图像中的成像区域；获取第一设备采集的所述第一部位在第一时刻的第一姿态信息，其中，所述第一设备佩戴在所述第一拍摄对象的第二部位，所述第一时刻为所述第一图像的采集时刻；根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：在电子设备被用户握持的情况下，获取所述电子设备在所述第一时刻采的第二姿态信息；确定所述第一姿态信息和所述第二姿态信息之间的第一差值信息；根据所述第一差值信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像之前，还包括：将所述第一区域输入第一模型，回归得到所述第一部位在所述第一时刻的第三姿态信息；确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息；所述根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像，包括：在所述第二差值信息大于阈值信息的情况下，根据所述第一姿态信息对所述第一部位进行三维重建，生成包括三维重建后的所述第一部位的第二图像。4.根据权利要求3所述的方法，其特征在于，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之前，还包括以下至少一项：在所述电子设备固定位置摆放的情况下，将所述第一姿态信息确定为所述目标姿态信息；在所述电子设备被用户握持的情况下，将第一差值信息确定为所述目标姿态信息，其中，所述第一差值信息为所述电子设备在所述第一时刻采的第二姿态信息与所述第一姿态信息之间的差值信息。5.根据权利要求3所述的方法，其特征在于，所述确定所述第三姿态信息和所述第一部位在所述第一时刻的目标姿态信息之间的第二差值信息之后，还包括：在所述第二差值信息小于或等于所述阈值信息的情况下，获取所述第一设备的置信度权重；根据所述置信度权重和所述第一姿态信息，对所述第三姿态信息进行调整，得到第四姿态信息；根据所述第四姿态信息对所述第一部位进行三维...

【专利技术属性】
技术研发人员：李泽，姜靖翔，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：