System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及人工智能和视频生成领域,具体而言,涉及一种视频生成方法、计算机终端及计算机可读存储介质。
技术介绍
1、视频虚拟试穿旨在将指定的服装或饰品穿在视频序列中的目标人物身上,为消费者提供交互式体验,在电子商务、服装定制、服装设计和生产等众多应用场景下都具有重要的应用价值。
2、与图像虚拟试穿相比,视频虚拟试穿增加了时间维度,能够提供不同视角下试穿的全面呈现。由于目前对于视频虚拟试穿,通常是采用图像虚拟试穿方法逐帧处理视频,但是生成的视频存在显著的帧间不一致的问题,导致视频虚拟试穿呈现的效果较差。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种视频生成方法、计算机终端及计算机可读存储介质,以至少解决视频虚拟试穿呈现的视频效果较差的技术问题。
2、根据本申请实施例的一个方面,提供了一种视频生成方法,包括:获取生物对象的原始视频和待展示物品的图像信息,其中,待展示物品为待展示在生物对象上的物品;对原始视频中的目标物品进行识别,生成时序平滑的局部聚焦,其中,时序平滑的局部聚焦用于表征目标物品在原始视频的不同视频帧中的位置信息,目标物品为当前加载在作为载体的生物对象上的物品;利用时序平滑的局部聚焦对原始视频进行放大,得到放大视频;将放大视频输入至视频生成模型,并基于时序平滑的局部聚焦和图像信息引导视频生成模型生成目标视频,其中,目标视频中的生物对象上展示有待展示物品。
3、根据本申请实施例的另一个
4、根据本申请实施例的另一个方面,还提供了一种视频生成方法,包括:获取用户的原始视频和第一服饰的图像信息,其中,第一服饰为用户待穿戴的服饰;对原始视频中的第二服饰进行识别,生成时序平滑的局部聚焦,其中,时序平滑的局部聚焦用于表征第二服饰在原始视频的不同视频帧中的位置信息,第二服饰为用户已经穿戴的服饰;基于原始视频、图像信息和时序平滑的局部聚焦,生成目标视频,其中,目标视频中的用户穿戴有第一服饰。
5、根据本申请实施例的另一个方面,还提供了一种视频生成方法,包括:在虚拟现实vr设备或增强现实ar设备的呈现画面上展示生物对象的原始视频和待展示物品的图像信息,其中,待展示物品为待展示在生物对象上的对象;对原始视频中的目标物品进行识别,生成时序平滑的局部聚焦,其中,时序平滑的局部聚焦用于表征目标物品在原始视频的不同视频帧中的位置信息,目标物品为已展示在生物对象上的对象;基于原始视频、图像信息和时序平滑的局部聚焦,生成目标视频,其中,目标视频中的生物对象上展示有待展示物品;驱动vr设备或ar设备展示目标视频。
6、根据本申请实施例的另一个方面,还提供了一种视频生成方法,包括:通过调用第一接口获取生物对象的原始视频和待展示物品的图像信息,其中,第一接口包括第一参数,第一参数的参数值包括原始视频和图像信息,待展示物品为待展示在生物对象上的对象;对原始视频中的目标物品进行识别,生成时序平滑的局部聚焦,其中,时序平滑的局部聚焦用于表征目标物品在原始视频的不同视频帧中的位置信息,目标物品为已展示在生物对象上的对象;基于原始视频、图像信息和时序平滑的局部聚焦,生成目标视频,其中,目标视频中的生物对象上展示有待展示物品;通过调用第二接口输出目标视频,其中,第二接口包括第二参数,第二参数的参数值包括目标视频。
7、根据本申请实施例的另一方面,还提供了一种计算机终端,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行本申请各个实施例中的方法。
8、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行本申请各个实施例中的方法。
9、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请各个实施例中的方法。
10、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储计算机程序,所述计算机程序被处理器执行时实现本申请各个实施例中的方法。
11、根据本申请实施例的另一方面,还提供了一种计算机程序,计算机程序被处理器执行时实现本申请各个实施例中的方法。
12、在本申请实施例中,获取生物对象的原始视频和待展示物品的图像信息;对原始视频中的目标物品进行识别,生成时序平滑的局部聚焦;利用时序平滑的局部聚焦对原始视频进行放大,得到放大视频;将放大视频输入至视频生成模型,并基于时序平滑的局部聚焦和图像信息引导视频生成模型生成目标视频。容易注意到的是,通过时序平滑的局部聚焦提取原始视频中目标物品所在区域的稳定特写镜头,达到准确定位目标物品的目的,利用时序平滑的局部聚焦对原始视频进行放大,从而放大目标物品所在的区域,更好地保留目标物品的细节,为待展示物品的安放位置和展现细节提供较为精准的参考,从而改善了在时序平滑的局部聚焦和图像信息的引导下,基于放大视频生成的目标视频的呈现效果,进而解决了视频虚拟试穿呈现的视频效果较差的技术问题。
13、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。
本文档来自技高网...【技术保护点】
1.一种视频生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述原始视频中的目标物品进行识别,生成时序平滑的局部聚焦,包括:
3.根据权利要求2所述的方法,其特征在于,所述分别对所述原始视频的多张视频帧中的所述目标物品进行识别,得到所述多张视频帧的初始展示区域,包括:
4.根据权利要求2所述的方法,其特征在于,所述按照所述多张视频帧的时间顺序,对所述多张视频帧的目标展示区域进行组合,得到所述时序平滑的局部聚焦,包括:
5.根据权利要求1所述的方法,其特征在于,所述利用所述时序平滑的局部聚焦对所述原始视频进行放大,得到放大视频,包括:
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述将所述放大视频输入至视频生成模型,并基于所述时序平滑的局部聚焦和所述图像信息引导所述视频生成模型生成目标视频,包括:
7.根据权利要求6所述的方法,其特征在于,所述对所述时序平滑的局部聚焦进行特征提取,得到时序平滑的局部聚焦特征,包括:
8.根据权利要求6所述的方法,其特征在于,
9.根据权利要求8所述的方法,其特征在于,所述对所述噪声视频、所述掩码视频和所述第一视频进行特征提取,得到所述对象特征,包括:
10.根据权利要求6所述的方法,其特征在于,所述对所述图像信息进行特征提取,得到物品特征,包括:
11.根据权利要求6所述的方法,其特征在于,所述将所述对象特征输入至视频生成模型,并基于所述时序平滑的局部聚焦特征和所述物品特征引导所述视频生成模型生成预测视频,包括:
12.根据权利要求11所述的方法,其特征在于,所述视频生成模型包括:交替连接的多个空间注意力模块和多个时间注意力模块;所述将所述对象特征输入至视频生成模型,并基于所述时序平滑的局部聚焦特征、所述环境特征和所述物品特征引导所述视频生成模型生成所述预测视频,包括:
13.根据权利要求12所述的方法,其特征在于,所述任意一个空间注意力模块包括:参考注意力模块和环境注意力模块;所述利用任意一个空间注意力模块对输入特征、所述环境特征和所述物品特征进行注意力处理,得到所述任意一个空间注意力模块输出的第一注意力特征,包括:
14.根据权利要求12所述的方法,其特征在于,所述任意一个时间注意力模块包括:自注意力模块;所述利用任意一个时间注意力模块对输入的第一注意力特征和所述时序平滑的局部聚焦特征进行注意力处理,得到所述任意一个时间注意力模块输出的第二注意力特征,包括:
15.根据权利要求6所述的方法,其特征在于,所述将所述预测视频与所述原始视频进行融合,得到所述目标视频,包括:
16.根据权利要求1至15中任意一项所述的方法,其特征在于,所述方法还包括:
17.一种视频生成方法,其特征在于,包括:
18.一种视频生成方法,其特征在于,包括:
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至18中任意一项所述的方法。
20.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至18中任意一项所述的方法。
...【技术特征摘要】
1.一种视频生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述原始视频中的目标物品进行识别,生成时序平滑的局部聚焦,包括:
3.根据权利要求2所述的方法,其特征在于,所述分别对所述原始视频的多张视频帧中的所述目标物品进行识别,得到所述多张视频帧的初始展示区域,包括:
4.根据权利要求2所述的方法,其特征在于,所述按照所述多张视频帧的时间顺序,对所述多张视频帧的目标展示区域进行组合,得到所述时序平滑的局部聚焦,包括:
5.根据权利要求1所述的方法,其特征在于,所述利用所述时序平滑的局部聚焦对所述原始视频进行放大,得到放大视频,包括:
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述将所述放大视频输入至视频生成模型,并基于所述时序平滑的局部聚焦和所述图像信息引导所述视频生成模型生成目标视频,包括:
7.根据权利要求6所述的方法,其特征在于,所述对所述时序平滑的局部聚焦进行特征提取,得到时序平滑的局部聚焦特征,包括:
8.根据权利要求6所述的方法,其特征在于,所述对所述放大视频进行特征提取,得到对象特征,包括:
9.根据权利要求8所述的方法,其特征在于,所述对所述噪声视频、所述掩码视频和所述第一视频进行特征提取,得到所述对象特征,包括:
10.根据权利要求6所述的方法,其特征在于,所述对所述图像信息进行特征提取,得到物品特征,包括:
11.根据权利要求6所述的方法,其特征在于,所述将所述对象特征输入至视频生成模型,并基于所述时序平滑的局部聚焦特征和所述物品特征引导所述视频生成模型生成预测视频,包...
【专利技术属性】
技术研发人员:徐正泽,陈梦婷,王钊,兰金松,肖帅,
申请(专利权)人:淘宝中国软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。