图像显示方法、装置、终端及存储介质制造方法及图纸

本申请提供了一种图像显示方法、装置、终端及存储介质，属于多媒体技术领域。在本申请实施例提供的方案，通过目标图像对应的第二姿态参数和调整后的脸部三维模型，来确定至少一个第一投影点，并根据该至少一个第一投影点的坐标值，以实现在目标图像中显示三维图像，使得终端在实现三维图像的显示时，可以通过对脸部三维模型的调整，来得到符合目标图像的脸部三维模型，从而实现三维图像的显示。由于脸部三维模型的通用性高，且调整方便灵活，调整的结果较为准确，从而可以广泛的应用于三维图像的显示。

Image display method, device, terminal and storage medium

【技术实现步骤摘要】
图像显示方法、装置、终端及存储介质
本申请涉及多媒体
，特别涉及一种图像显示方法、装置、终端及存储介质。
技术介绍
随着人脸配准技术的快速发展，目前已经在人脸识别、人脸美颜中进行了广泛的应用。人脸配准技术也可以称为人脸关键点定位技术，是指在给定一张包含人脸图像时，计算机设备可以自动的定位出人脸图像上具有特定语义的点，例如眼角、嘴角、鼻尖、眉毛、轮廓等。如今在以美颜、3D挂件为代表的一些应用场景，为了将3D挂件等三维图像准确的显示到人脸上，需要对于上述特定语义点以外的一些语义不明确的点进行定位，如脸颊、苹果肌、法令纹、眼袋等。相关技术中的一种实现方式是采用几何估计的方法，来定位上述语义不明确的点，从而实现三维图像在人脸上的显示。具体的是通过一些统计学的规律，根据已有的特定语义点的坐标来估算出其他点的坐标。如额头点的位置在鼻底点与鼻梁点的连线上，且鼻梁点与额头点的间距是鼻梁点与鼻底点的间距的1.5倍，在已知鼻底点和鼻梁点的坐标的情况下，即可确定额头点的位置。上述技术方案存在的问题是，对于每个待确定的点，需要针对该待确定的点设定计算规则，且该计算规则不具备通用性，对于不同的人或者同一个人的不同表情、姿态都需要设定对应的计算规则。通过上述分析可知，几何估计的方法局限性过高，导致该方法无法广泛的应用于三维图像的显示。
技术实现思路
本申请实施例提供了一种图像显示方法、装置、终端及存储介质，用于解决目前几何估计的方法局限性过高，导致该方法无法广泛的应用于三维图像的显示问题。所述技术方案如下：一方面，提供了一种图像显示方法，包括：根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；根据所述第二姿态参数，调整所述脸部三维模型；根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。另一方面，提供了一种图像显示装置，包括：确定模块，被配置为根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；调整模块，被配置为根据所述第二姿态参数，调整所述脸部三维模型；所述确定模块，还被配置为根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；显示模块，被配置为根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。在一种可能的实现方式中，所述调整模块，还被配置为根据所述第二姿态参数，调整所述脸部三维模型的姿态；根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系；基于所述第二对应关系，确定调整后的脸部三维模型。在一种可能的实现方式中，所述脸部特征包括五官特征和轮廓特征；所述调整模块，还被配置为保持所述脸部三维模型中的三维坐标点与所述五官特征包括的二维坐标点的对应关系不变，按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点；将所述脸部三维模型中的多个三维坐标点按照所述预设的采样顺序与所述轮廓特征包括的二维坐标点进行对应，得到所述脸部特征和调整后的脸部三维模型的第二对应关系。在一种可能的实现方式中，所述调整模块，还被配置为获取所述脸部三维模型中预设的至少一个平行线段；按照预设的采样顺序，从每个平行线段中选择一个位于所述脸部三维模型边界的坐标点与轮廓特征包括的二维坐标点相对应。在一种可能的实现方式中，所述调整模块，还被配置为获取在所述目标图像的上一帧图像中确定脸部三维模型的第二特征参数和第二表情参数；根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征的包括的二维坐标点相对应的三维坐标点的坐标值、所述第二特征参数以及所述第二表情参数，确定调整后的脸部三维模型对应的第一特征参数和第一表情参数。在一种可能的实现方式中，所述装置还包括：更新模块，被配置为根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及所述第一姿态参数，更新所述第二姿态参数；所述调整模块，还被配置为根据跟更新后的第二姿态参数，调整所述脸部三维模型的姿态；所述更新模块，还被配置为再次更新所述第二姿态参数，直到达到预设的停止更新条件。在一种可能的实现方式中，所述显示模块，还被配置为获取待显示的三维图像；根据所述至少一个第一投影点的坐标值，将所述三维图像包括的至少一个图像点，依次显示在所述至少一个第一投影点上。在一种可能的实现方式中，所述装置还包括：追踪模块，被配置为对所述上一帧图像中包括的脸部特征的坐标点进行脸部跟踪；所述确定模块，还被配置为根据所述脸部跟踪的结果，确定所述目标图像包括的脸部特征包括的二维坐标点。在一种可能的实现方式中，所述装置还包括：生成模块，被配置为根据预设的第三特征参数和第三表情参数，生成所述脸部三维模型；所述确定模块，还被配置为根据首帧图像中包括的五官特征和所述脸部三维模型与所述五官特征的第三对应关系，确定所述首帧图像对应的第三姿态参数；所述调整模块，还被配置为根据所述第三姿态参数，调整所述脸部三维模型；所述确定模块，还被配置为根据所述第三姿态参数和调整后的脸部三维模型，确定所述首帧图像中包括的至少一个第二投影点的坐标值；所述显示模块，还被配置为根据所述至少一个第二投影点的坐标值，将所述三维图像显示在所述首帧图像中。在一种可能的实现方式中，所述装置还包括：检测配准模块，被配置为对所述首帧图像进行脸部检测和脸部配准，确定所述首帧图像中包括的五官特征包括的至少一个二维坐标点。在一种可能的实现方式中，所述调整模块，还被配置为根据所述第三姿态参数，调整所述脸部三维模型的姿态；获取所述首帧图像包括的轮廓特征，所述轮廓特征和所述五官特征构成所述脸部特征；从调整后的脸部三维模型中选择与所述轮廓特征包括的二维坐标点相对应的三维坐标点，得到所述首帧图像中脸部特征与脸部三维模型的第四对应关系；基于所述第四对应关系，调整所述脸部三维模型。在一种可能的实现方式中，所述调整模块，还被配置为根据所述五官特征、所述轮廓特征以及所述第四对应关系，更新所述第三姿态参数；根据更新后的第三姿态参数，调整所述脸部三维模型的姿态；根据姿态调整后的脸部三维模型，更新所述第四对应关系；根据更新后的第四对应关系和更新后的第三姿态参数，确定调整后的脸部三维模型。在上述任一种可能的实现方式中，所述至少一个第一投影点所覆盖的脸部区域与所述目标图像中包括的总脸部区域的比例大于目标比例阈值。另一方面本文档来自技高网...

【技术保护点】
1.一种图像显示方法，其特征在于，所述方法包括：/n根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；/n根据所述第二姿态参数，调整所述脸部三维模型；/n根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；/n根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。/n

【技术特征摘要】
1.一种图像显示方法，其特征在于，所述方法包括：
根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述目标图像对应的第二姿态参数；
根据所述第二姿态参数，调整所述脸部三维模型；
根据所述第二姿态参数和调整后的脸部三维模型，确定所述目标图像中包括的至少一个投影点的坐标值；
根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第二姿态参数，调整所述脸部三维模型，包括：
根据所述第二姿态参数，调整所述脸部三维模型的姿态；
根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系；
基于所述第二对应关系，确定调整后的脸部三维模型。


3.根据权利要求2所述的方法，其特征在于，所述脸部特征包括五官特征和轮廓特征；
所述根据调整后的脸部三维模型，确定所述脸部特征和调整后的脸部三维模型的第二对应关系，包括：
保持所述脸部三维模型中的三维坐标点与所述五官特征包括的二维坐标点的对应关系不变，
按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点；
将所述脸部三维模型中的多个三维坐标点按照所述预设的采样顺序与所述轮廓特征包括的二维坐标点进行对应，得到所述脸部特征和调整后的脸部三维模型的第二对应关系。


4.根据权利要求3所述的方法，其特征在于，所述按照预设的采样顺序，从调整后的脸部三维模型中确定多个三维坐标点，包括：
获取所述脸部三维模型中预设的至少一个平行线段；
按照预设的采样顺序，从每个平行线段中选择一个位于所述脸部三维模型边界的坐标点与轮廓特征包括的二维坐标点相对应。


5.根据权利要求3所述的方法，其特征在于，所述基于所述第二对应关系，确定调整后的脸部三维模型，包括：
获取在所述目标图像的上一帧图像中确定脸部三维模型的第二特征参数和第二表情参数；
根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征的包括的二维坐标点相对应的三维坐标点的坐标值、所述第二特征参数以及所述第二表情参数，确定调整后的脸部三维模型对应的第一特征参数和第一表情参数。


6.根据权利要求5所述的方法，其特征在于，所述确定调整后的脸部三维模型对应的第一特征参数和第一表情参数之后，所述方法还包括：
根据所述脸部特征包括的二维坐标点的坐标值、所述脸部三维模型上与所述脸部特征包括的二维坐标点对应的三维坐标点的坐标值以及所述第一姿态参数，更新所述第二姿态参数；
根据跟更新后的第二姿态参数，调整所述脸部三维模型的姿态；
再次更新所述第二姿态参数，直到达到预设的停止更新条件。


7.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一投影点的坐标值，将待显示的三维图像显示在所述目标图像中，包括:
获取待显示的三维图像；
根据所述至少一个第一投影点的坐标值，将所述三维图像包括的至少一个图像点，依次显示在所述至少一个第一投影点上。


8.根据权利要求1所述的方法，其特征在于，所述根据目标图像包括的脸部特征、基于所述目标图像的上一帧图像中的脸部三维模型与所述脸部特征之间的第一对应关系以及所述上一帧图像对应的第一姿态参数，确定所述...

【专利技术属性】
技术研发人员：曹玮剑，曹煊，赵艳丹，葛彦昊，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44