北京生数科技有限公司专利技术

北京生数科技有限公司共有36项专利

  • 本申请涉及一种视频生成方法、装置及电子设备。该方法包括:获取待处理的视频片段,视频片段包括P帧边缘检测图和Q帧占位图,其中,P≥1,Q≥0;将条件信息输入预训练的视频生成模型,生成目标视频,条件信息至少包括待处理的视频片段,目标视频中包...
  • 本申请提供了一种视频生成方法、装置、电子设备、存储介质及计算机程序产品;包括:获取目标图和相机轨迹信息;确定目标图的图像编码特征和相机轨迹信息的轨迹编码特征;根据图像编码特征和轨迹编码特征,生成参考图像序列;其中,参考图像序列包括目标图...
  • 本申请涉及一种视频生成方法、装置及电子设备。该方法包括:获取待处理的视频片段,视频片段包括多帧参考图像;将待处理的视频片段输入预训练的适配模块,获得适配模块的各层第一隐藏层对应的微调向量;第一隐藏层与扩散模型的第二隐藏层具有相同的层结构...
  • 本公开实施例公开了一种视频切分方法、装置、存储介质及电子设备,其中,该方法包括:获取待切分视频中的至少一帧图像及帧号;生成所述至少一帧图像中各帧图像的切分特征,所述切分特征包括语义特征,所述语义特征用于表征图像的语义;基于各帧图像的切分...
  • 本申请涉及一种图像生成方法、装置及电子设备。该方法包括:获取待修复的原始图像;将原始图像进行分割,获得多帧原始子图像;通过具有目标风格的扩散模型对各帧原始子图像分别进行修复,获得对应的修复子图像;将各帧修复子图像进行拼接,获得修复后的目...
  • 本公开实施例公开了一种视频生成方法、装置、电子设备、存储介质和程序产品,其中,该方法包括:获取第一视频片段和文本描述信息;基于对第一适配器模型和视频模型进行联合训练得到的第二适配器模型,对所述第一视频片段进行处理,得到第一向量;基于所述...
  • 本公开实施例公开了一种视频生成方法、装置、电子设备和存储介质,其中,该方法包括:获取第一视频片段和文本描述信息;基于对第一适配器模型和视频模型进行联合训练得到的第二适配器模型,对所述第一视频片段进行处理,得到第一向量;基于所述视频模型,...
  • 本公开实施例公开了一种图像编辑方法、装置、存储介质及电子设备,其中,该方法包括:获取待编辑图像和编辑指令;利用预训练的多模态大模型,基于待编辑图像和编辑指令,生成目标图像的词元;从目标图像的词元中截取目标图像的视觉词元;利用预训练的扩散...
  • 本公开实施例公开了基于多视频片段生成视频的方法、装置、设备、介质,方法包括:将待生成视频对应的多个目标视频设置到预设模板视频中,得到初始视频;将预设噪声信息、初始视频和待生成视频对应的文本信息输入到预先训练的视频生成模型中,由视频生成模...
  • 本公开实施例公开了一种视频生成的方法、装置、电子设备、存储介质和程序产品,通过获取输入视频的所有视频帧的涂鸦图,并结合高斯噪声和引导视频生成的条件信息,利用预训练的视频生成模型来生成目标视频,实现将涂鸦图等较为粗犷的线条图自动转化为动画...
  • 本公开实施例公开了一种视频生成方法、装置、电子设备、存储介质,方法包括:基于目标图像,生成第一视频,第一视频包括目标图像和多帧全黑图像且第一视频的首帧图像为目标图像,将预设噪声信息和条件引导信息输入到预先训练的视频生成模型,得到第二视频...
  • 本公开实施例公开了一种利用图像生成视频的方法、装置、设备、介质,方法包括:获取条件引导信息,该条件引导信息包括输入图像;将预设噪声信息和条件引导信息输入到预先训练的视频生成模型,得到目标视频,该目标视频包括输入图像,其中,由视频生成模型...
  • 本公开实施例公开了一种视频延长方法和装置,方法包括:从第一视频数据中提取第二视频数据,以第二视频数据作为视频数据的起始构建第三视频数据,将预设噪声信息、第三视频数据和视频描述信息输入到预先训练的视频生成模型,得到包括第一视频数据的延长视...
  • 本公开实施例公开了一种视频生成方法、装置、电子设备、存储介质和产品,其中,该方法包括:获取引导视频生成的条件信息;基于第一适配器模型和视频模型对所述条件信息进行处理,得到与所述条件信息对应的第二视频片段。本公开实施例可以生成与引导视频生...
  • 本公开实施例公开了一种视频的生成方法、装置、电子设备、存储介质和产品,其中,该方法包括:获取引导视频生成的条件信息;基于第一适配器模型和视频模型对所述条件信息进行处理,得到与所述条件信息对应的第二视频片段。本公开实施例可以生成与引导视频...
  • 本公开实施例公开了一种视频生成的方法、装置、电子设备和计算机可读存储介质,其中,方法包括:获取输入视频的第一图像集,所述第一图像集包括输入视频的第一数量视频帧的涂鸦图和第二数量视频帧的全黑图;将预设高斯噪声、目标视频提示词和所述第一图像...
  • 本申请提供的一种视觉数据生成方法、多模态模型训练方法、装置及介质,通过获得待生成视觉数据的描述信息;所述描述信息对应有风格触发词,以及风格触发词对应的图像区域内容信息;基于所述描述信息以及预先训练的多模态模型,获得输出视觉数据,使得所述...
  • 本申请涉及一种文生图模型的微调方法、装置、电子设备和存储介质。该方法包括:获取预设图像训练集合,预设图像训练集合包括第一图像及第一图像对应的第一文本;根据预设图像训练集合训练预设文生图模型,预设文生图模型包括文本编码器和扩散生成模型,在...
  • 本公开实施例公开了一种故事的生成方法、装置、设备和介质,涉及人工智能技术领域。其中方法包括:获取待创建故事的至少一个目标角色;获取与至少一个目标角色对应的用于描述角色设定的第一文本信息;根据第一文本信息,生成待创建故事的故事名称;根据第...
  • 本申请涉及一种视觉数据生成方法、装置、电子设备和存储介质。该方法包括:获取文本提示词;其中,文本提示词包括多个句段,各个句段具有预先分配的注意力权重;将文本提示词编码为初始文本嵌入向量;根据各个句段的注意力权重,对初始文本嵌入向量的各维...