进行图像合成的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种进行图像合成的方法、装置、设备及存储介质，属于图像处理技术领域。该方法包括：获取添加目标三维动画的第一位置，将第一视频帧中第一位置处的第一局部图像作为参考图像，将目标三维动画的第一动画帧添加到第一视频帧中第一位置；当拍摄到第二视频帧时，确定第二视频帧中与参考图像满足相似条件的第二局部图像，确定第二局部图像在第二视频帧中的第二位置；获取设备在第一视频帧与第二视频帧的拍摄时刻之间的位置变化信息，获取本设备在第二视频帧的拍摄时刻的姿态信息；基于位置变化信息、姿态信息、第一位置和第二位置，将目标三维动画当前的第二动画帧，添加到第二视频帧中。采用本申请丰富了在视频中添加图像的方式。

【技术实现步骤摘要】
进行图像合成的方法、装置、设备及存储介质
本申请涉及图像处理
，特别涉及一种进行图像合成的方法、装置、设备及存储介质。
技术介绍
随着互联网技术的发展，图像处理技术的进步，在短视频以及网络直播中可实现的功能越来越多。例如，在拍摄视频的过程，可以在视频画面中添加各种装饰图像以丰富视频的显示内容。在现有技术中，用户可以在视频拍摄的过程中，可以选择不同的装饰图像，终端可以将用户选择的装饰图像显示在当前拍摄视频画面中。例如，用户选择的装饰图像为一个相框，则终端可以将相框显示在当前拍摄的视频画面中，通过相框的四个边遮住视频画面的边缘区域，实现视频在相框中播放的效果。在实现本申请的过程中，专利技术人发现现有技术至少存在以下问题：当前在视频画面只能添加二维图像，添加方式较为单一。
技术实现思路
本申请实施例提供了一种进行图像合成的方法、装置、设备及存储介质,丰富了在视频中添加图像的方式。所述技术方案如下：一方面，提供了一种进行图像合成的方法，该方法包括：接收目标三维动画的添加指令，获取所述添加指令对应的第一位置；获取当前拍摄的第一视频帧中所述第一位置处的第一局部图像作为参考图像，并将所述目标三维动画的第一动画帧添加到所述第一视频帧中所述第一位置处，得到第一合成视频帧；当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，确定所述第二局部图像在所述第二视频帧中的第二位置；获取本设备在所述参考图像所属的视频帧的拍摄时刻与所述第二视频帧的拍摄时刻之间的位置变化信息，并获取本设备在所述第二视频帧的拍摄时刻的姿态信息；基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧。可选的，所述第一位置处的第一局部图像为以所述第一位置为中心的预设尺寸矩形框所包围的图像。可选的，所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，包括：获取所述参考图像的特征信息；基于预设的多个局部图像特征信息的获取位置，在所述第二视频帧中获取多个局部图像，获取多个局部图像的特征信息，其中，所述多个局部图像的尺寸与所述参考图像的尺寸相同；在所述多个局部图像的特征信息中，确定与所述参考图像的特征信息相似度最高的第二局部图像。可选的，所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像之后，所述方法还包括：将参考图像更新为所述第二局部图像。可选的，所述当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，包括：将间隔帧数设置为初始数值，当拍摄到与第一视频帧间隔所述间隔帧数的第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像；所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像之后，所述方法还包括：获取在所述多个第二局部图像的特征信息中，确定与所述第一局部图像的特征信息相似度最高的第二局部图像的计算时长；基于预先存储的时长范围与间隔帧数的数值的对应关系，确定所述计算时长所在的时长范围对应的目标数值；将所述间隔帧数调整为所述目标数值。可选的，所述基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧，包括：基于所述位置变化信息和所述姿态信息确定所述目标三维动画的坐标调整信息；基于所述坐标调整信息，对所述目标三维动画中各图像点的空间坐标进行调整，得到调整后的目标三维动画；在所述调整后的目标三维动画中，获取所述第二视频帧的拍摄时刻对应的调整后的第二动画帧；基于所述第一位置和所述第二位置，确定所述调整后的第二动画帧的二维坐标转换信息；基于所述二维坐标转换信息，将所述调整后的第二动画帧中各图像点的空间坐标转换为二维坐标，得到所述第二动画帧对应的二维动画帧；将所述二维动画帧添加在所述第二视频帧中所述第二位置处，得到第二合成视频帧。另一方面，提供了一种进行图像合成的装置，该装置包括：接收模块，被配置为，接收目标三维动画的添加指令，获取所述添加指令对应的第一位置；第一合成模块，被配置为，获取当前拍摄的第一视频帧中所述第一位置处的第一局部图像作为参考图像，并将所述目标三维动画的第一动画帧添加到所述第一视频帧中所述第一位置处，得到第一合成视频帧；确定模块，被配置为，当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，确定所述第二局部图像在所述第二视频帧中的第二位置；获取模块，被配置为，获取本设备在所述参考图像所属的视频帧的拍摄时刻与所述第二视频帧的拍摄时刻之间的位置变化信息，并获取本设备在所述第二视频帧的拍摄时刻的姿态信息；第二合成模块，被配置为，基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧。可选的，所述第一位置处的第一局部图像为以所述第一位置为中心的预设尺寸矩形框所包围的图像。可选的，确定模块，被配置为：获取所述参考图像的特征信息；基于预设的多个局部图像特征信息的获取位置，在所述第二视频帧中获取多个局部图像，获取多个局部图像的特征信息，其中，所述多个局部图像的尺寸与所述参考图像的尺寸相同；在所述多个局部图像的特征信息中，确定与所述参考图像的特征信息相似度最高的第二局部图像。可选的，所述装置还包括更新模块，被配置为：将参考图像更新为所述第二局部图像。可选的，所述确定模块，被配置为：将间隔帧数设置为初始数值，当拍摄到与第一视频帧间隔所述间隔帧数的第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像；所述装置还包括调整模块，被配置为：获取在所述多个第二局部图像的特征信息中，确定与所述第一局部图像的特征信息相似度最高的第二局部图像的计算时长；基于预先存储的时长范围与间隔帧数的数值的对应关系，确定所述计算时长所在的时长范围对应的目标数值；将所述间隔帧数调整为所述目标数值。可选的，所述第二合成模块，被配置为：基于所述位置变化信息和所述姿态信息确定所述目标三维动画的坐标调整信息；基于所述坐标调整信息，对所述目标三维动画中各图像点的空间坐标进行调整，得到调整后的目标三维动画；在所述调整后的目标三维动画中，获取所述第二视频帧的拍摄时刻对应的调整后的第二动画帧；基于所述第一位置和所述第二位置，确定所述调整后的第二动画帧的二维坐标转换信息；基于所述二维坐标转换信息，将所述调整后的第二动画帧中各图像点的空间坐标转换为二维坐标，得到所述第二动画帧对应的二维动画帧；本文档来自技高网...

【技术保护点】
1.一种进行图像合成的方法，其特征在于，包括：/n接收目标三维动画的添加指令，获取所述添加指令对应的第一位置；/n获取当前拍摄的第一视频帧中所述第一位置处的第一局部图像作为参考图像，并将所述目标三维动画的第一动画帧添加到所述第一视频帧中所述第一位置处，得到第一合成视频帧；/n当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，确定所述第二局部图像在所述第二视频帧中的第二位置；/n获取本设备在所述参考图像所属的视频帧的拍摄时刻与所述第二视频帧的拍摄时刻之间的位置变化信息，并获取本设备在所述第二视频帧的拍摄时刻的姿态信息；/n基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧。/n

【技术特征摘要】
1.一种进行图像合成的方法，其特征在于，包括：
接收目标三维动画的添加指令，获取所述添加指令对应的第一位置；
获取当前拍摄的第一视频帧中所述第一位置处的第一局部图像作为参考图像，并将所述目标三维动画的第一动画帧添加到所述第一视频帧中所述第一位置处，得到第一合成视频帧；
当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，确定所述第二局部图像在所述第二视频帧中的第二位置；
获取本设备在所述参考图像所属的视频帧的拍摄时刻与所述第二视频帧的拍摄时刻之间的位置变化信息，并获取本设备在所述第二视频帧的拍摄时刻的姿态信息；
基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧。


2.根据权利要求1所述的方法，其特征在于，所述第一位置处的第一局部图像为以所述第一位置为中心的预设尺寸矩形框所包围的图像。


3.根据权利要求1所述的方法，其特征在于，所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，包括：
获取所述参考图像的特征信息；
基于预设的多个局部图像特征信息的获取位置，在所述第二视频帧中获取多个局部图像，获取多个局部图像的特征信息，其中，所述多个局部图像的尺寸与所述参考图像的尺寸相同；
在所述多个局部图像的特征信息中，确定与所述参考图像的特征信息相似度最高的第二局部图像。


4.根据权利要求3所述的方法，其特征在于，所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像之后，所述方法还包括：
将参考图像更新为所述第二局部图像。


5.根据权利要求3所述的方法，其特征在于，所述当拍摄到第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像，包括：
将间隔帧数设置为初始数值，当拍摄到与第一视频帧间隔所述间隔帧数的第二视频帧时，确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像；
所述确定所述第二视频帧中与所述参考图像满足相似条件的第二局部图像之后，所述方法还包括：
获取在所述多个第二局部图像的特征信息中，确定与所述第一局部图像的特征信息相似度最高的第二局部图像的计算时长；
基于预先存储的时长范围与间隔帧数的数值的对应关系，确定所述计算时长所在的时长范围对应的目标数值；
将所述间隔帧数调整为所述目标数值。


6.根据权利要求1所述的方法，其特征在于，所述基于所述位置变化信息、所述姿态信息、所述第一位置和所述第二位置，将所述目标三维动画当前的第二动画帧，添加到所述第二视频帧中，得到第二合成视频帧，包括：
基于所述位置变化信息和所述姿态信息确定所述目标三维动画的坐标调整信息；
基于所述坐标调整信息，对所述目标三维动画中各图像点的空间坐标进行调整，得到调整后的目标三维动画；
在所述调整后的目标三维动画中，获取所述第二视频帧的拍摄时刻对应的调整后的第二动画帧；
基于所述第一位置和所述第二位置，确定所述调整后的第二动画帧的二维坐标转换信息；
基于所述二维坐标转换信息，将所述调整后的第二动画帧中各图像点的空间坐标转换为二维坐标，得到所述第二动画帧对应的二维动画帧；
将所述二维动画帧添加在所述第二视频帧中所述第二位置处，得到第二合成视频帧。


7.一种进行图像合成的装置，其特征在于，包括：
接收模块，被配置为，接收目标三维...

【专利技术属性】
技术研发人员：刘春宇，
申请(专利权)人：广州酷狗计算机科技有限公司，
类型：发明
国别省市：广东;44