System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及图像生成,特别是涉及生成宠物数字形象的方法及电子设备。
技术介绍
1、照片处理技术虽已日臻完善,但在对于宠物而言,在个性化和创意方面存在局限。传统的滤镜和文字贴图功能难以满足宠物主人的需求,他们期望创造独特有趣的照片。业内出现的ai(artificial intelligence,人工智能)绘画技术,包括“文生图”、“图生图”等类别的大模型等,可以弥补传统技术中存在的个性化、创意等方面的不足,但是,现有的ai绘画工具通常是通用的,难以针对宠物实现高质量的ai绘画。
技术实现思路
1、本申请提供了生成宠物数字形象的方法及电子设备,能够使得生成图像中保留宠物自身以及所属品种的外貌特征,提升生成图像的质量。
2、本申请提供了如下方案:
3、一种生成宠物数字形象的方法,包括:
4、响应于用户提交的为目标宠物进行图像生成的请求,确定所述请求中携带的关于所述目标宠物的多个原始图像;
5、确定所述目标宠物所属的宠物类别及品种信息;
6、通过查询预先建立的知识库,确定所述宠物类别及品种信息对应的外貌特征描述信息;
7、将所述多个原始图像以及所述外貌特征描述信息输入到图像生成模型中进行训练,所述图像生成模型由基础模型以及微调模型组成,其中,在为所述目标宠物训练专属的微调模型的过程中,将所述宠物类别以及品种对应的外貌特征描述信息进行固化,以便通过所述专属的微调模型记录所述目标宠物自身及其所属类别及品种的外貌特征,并为所述
8、其中,所述基础模型还关联有控制模型;
9、在为所述目标宠物生成数字形象时,包括:
10、确定参考图,所述参考图是与宠物相关的图像;
11、通过所述控制模型对所述参考图进行预处理,所述预处理包括:对所述参考图进行线稿图提取处理,以用于对所述参考图中包括的宠物动作、姿态和/或背景特征进行固化后,通过所述基础模型以及所述微调模型,生成具有所述目标宠物自身及其所述类别及品种的的外貌特征,以及所述参考图中的宠物动作、姿态和/或背景特征的数字形象。
12、其中,还包括:
13、为所述目标宠物生成数字档案,所述数字档案中包括为所述目标宠物生成的基础数字形象;
14、所述确定参考图,包括:
15、在生成所述基础数字形象时,将与宠物的拟人化相关的图像确定为所述参考图。
16、其中,还包括:
17、提供多种可选的场景/风格标题选项;
18、所述确定参考图,包括:
19、根据被选中的目标场景/风格标题,将与所述目标场景/风格以及宠物相关的考图像确定为所述参考图,以便为所述目标宠物生成对应的场景化/风格化数字形象。
20、其中,所述确定参考图,包括:
21、利用基于文本生成图像的模型生成所述参考图。
22、其中,还包括:
23、对用户提供的所述原始图像进行质量检测,所述质量检测包括:对所述原始图像的清晰度、完整性进行检查,确定所述原始图像中是否存在重复,和/或,判断所述原始图像是否对应同一目标宠物。
24、一种宠物信息处理方法,包括:
25、接收用户提交的目标宠物的多个原始图像以及宠物类别及品种信息;
26、根据所述多个原始图像以及宠物类别及品种信息为所述目标宠物生成数字档案,所述数字档案中包括所述目标宠物的数字形象,所述数字形象中包括所述目标宠物自身及其所属类别及品种的外貌特征,以及拟人化、场景化和/或风格化的特征。
27、一种生成宠物数字形象的装置,包括:
28、请求接收单元,用于响应于用户提交的为目标宠物进行图像生成的请求,确定所述请求中携带的关于所述目标宠物的多个原始图像;
29、类别及品种信息确定单元,用于确定所述目标宠物所属的宠物类别及品种信息;
30、知识库查询单元,用于通过查询预先建立的知识库,确定所述宠物类别及品种信息对应的外貌特征描述信息;
31、模型训练单元,用于将所述多个原始图像以及所述外貌特征描述信息输入到图像生成模型中进行训练,所述图像生成模型由基础模型以及微调模型组成,其中,在为所述目标宠物训练专属的微调模型的过程中,将所述宠物类别以及品种对应的外貌特征描述信息进行固化,以便通过所述专属的微调模型记录所述目标宠物自身及其所属类别及品种的外貌特征,并为所述目标宠物生成数字形象。
32、一种宠物信息处理装置,包括:
33、信息接收单元,用于接收用户提交的目标宠物的多个原始图像以及宠物类别及品种信息;
34、数字档案生成单元,用于根据所述多个原始图像以及宠物类别及品种信息为所述目标宠物生成数字档案,所述数字档案中包括所述目标宠物的数字形象,所述数字形象中包括所述目标宠物自身及其所属类别及品种的外貌特征,以及拟人化、场景化和/或风格化的特征。
35、一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一项所述的方法的步骤。
36、一种电子设备,包括:
37、一个或多个处理器;以及
38、与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述任一项所述的方法的步骤。
39、根据本申请提供的具体实施例,本申请公开了以下技术效果:
40、通过本申请实施例,能够在用户提交了宠物的多张图像后,为宠物生成数字形象,其中,为了避免在上述图像生成过程中失去或偏离具体宠物品种所特有的一些外貌特征,还可以预先建立宠物外貌特征知识库,在其中可以记录多个宠物类别下多个不同宠物品种分别对应的外貌特征描述信息,在为具体宠物训练微调模型的过程中,可以利用该知识库中的信息将具体宠物所属类别、品种所对应的外貌特征固化下来,从而使得生成图像中可以保留宠物自身以及所属品种的外貌特征,提升生成图像的质量。
41、当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
本文档来自技高网...【技术保护点】
1.一种生成宠物数字形象的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,还包括:
4.根据权利要求2所述的方法,其特征在于,还包括:
5.根据权利要求2所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,还包括:
7.一种宠物信息处理方法,其特征在于,包括:
8.一种生成宠物数字形象的装置,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
10.一种电子设备,其特征在于,包括:
【技术特征摘要】
1.一种生成宠物数字形象的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,还包括:
4.根据权利要求2所述的方法,其特征在于,还包括:
5.根据权利要求2所述的方法,其特征在于,
6.根据权利要求1所述的方法,...
【专利技术属性】
技术研发人员:徐波,尹攀,楼彬彬,范新龙,李大伟,徐策,文章,
申请(专利权)人:淘宝中国软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。