【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于模型训练、图文生图技术的人物风格图像生成方法、系统、设备及介质。
技术介绍
1、目前，在对用户人像图和风格训练图的现有技术中，已公开方案如：运用参数自适应预算分配的lora训练策略，在有限训练资源下加强网络学习能力，为虚拟写真人像相似度和真实度提供基础；引入人脸特征信息，以条件特征形式输入扩散模型辅助人像生成，提升人物相似度；风格人像生成分层可控，解耦id与风格，基于风格lora模型进一步分解风格的细粒度特征，实现人像写真风格的可控。但这些现有技术方案还存在以下问题：
2、现有技术方案人物图像合成结果真实性不足。在提取人脸特征信息时依赖于用户上传图像的质量和图像编码器的准确性，也有很多方案提出首先要对人物图像进行调优或优化处理以提升人脸特征信息的准确性及人物图像合成结果的真实性，但是这些处理都会导致人物图像合成后效果与真实效果存在一定的差距，例如普遍存在的合成后图像中人物年龄偏小/年轻、合成后图像人物妆感重的问题。现有技术方案在合成人物风格图像时人物姿态存在随机性。由于目前人物写真合成中的人物姿态多基于提示词prompt进行控制，这会导致合成后图像中人物姿态存在一定的随机性，有时合成的姿态并不符合用户要求或者合成效果较差。现有技术方案收集获取用户图像数据的方式比较单一，多是要求用户提供原始图像或照片，之后再进行图像处理及人物风格图像合成。
技术实现思路
1、本专利技术的目的是提供一种基于模型训练、图文生图技术的人物风格图像生成方法
2、为实现上述目的，本专利技术提供的技术方案是：
3、本申请的第一方面提供了一种基于模型训练、图文生图技术的人物风格图像生成方法，包括以下步骤：
4、训练优化风格底模，扩大风格底模训练样本，提高风格底模泛化能力，得到优化后的目标风格基础模型；
5、获取用户的人物形象数据，对人物形象数据进行预处理，提取用户的人脸特征信息，通过用户反馈机制进行人脸特征信息校对，获得最终的人物形象训练数据；
6、将人物形象训练数据输入至stable diffusion模型，训练得到人物特有lora模型；
7、设置人物风格图像生成信息，并基于所述人物风格图像生成信息配置相应的人物风格图像生成参数；
8、基于所述目标风格基础模型、人物特有lora模型及人物风格图像生成参数进行文生图及图生图处理，最终获得目标人物风格图像。
9、所述的获取用户的人物形象数据，具体为：利用aigc模型工具生成不同人物图像数据，人物图像数据的人物形象涵盖各年龄段、各性别样本，充分学习人脸特征及表情，结合多尺度特征融合技术和注意力机制，强化对人物图像数据中人脸的细节特征和重要特征的学习。
10、所述的对人物形象数据进行预处理，包括非真实图像过滤、人脸关键点检测、图像人脸旋转校正和图像美颜风格去除处理；
11、所述的提取用户的人脸特征信息，通过用户反馈机制进行人脸特征信息校对，具体为：基于人脸特征提取算法提取人脸特征信息，并通过用户反馈机制，让用户确认算法提取的人脸特征信息是否存在误差，允许用户修改调整。
12、为优化上述技术方案，采取的具体措施还包括：
13、所述的对人物形象数据进行预处理，具体过程如下：
14、(1)利用算法或图像编辑软件去除图片中的美颜效果；
15、(2)使用人脸检测算法及人脸关键点检测算法提取图片中的人脸并定位人脸区域，过滤不包含人脸、非真实人脸及人脸有遮挡的数据；计算人脸在图像中的面积占比，筛除人脸占比过小的数据；对于包含多个人脸的图像，通过用户反馈机制让用户确认最终需要保留的人物形象；
16、(3)使用图像人脸旋转算法，将所述步骤(2)得到的人脸数据进行旋转对齐，使处理后人脸左右眼中心坐标的连线处于水平状态；
17、(4)对所述步骤(1)-(3)处理后的人脸图像进行信息编码，首先借助基于图像的文本编码器和解码器对人脸图像进行信息编码，之后将信息编码数据通过用户反馈机制让用户确认，最后将信息编码数据及人脸图像输入人像底模训练用户特有lora模型。
18、进一步地，若用户提供的是图像数据，图像预处理后直接提取图像中的人脸特征信息；若用户提供的是多帧图像或动态视频，首先将多帧图像或动态视频转化为图像帧集合，对图像帧集合中的每一帧图像进行预处理，之后再提取图像中的目标人物人脸特征信息。
19、进一步地，所述的设置人物风格图像生成信息，并基于所述人物风格图像生成信息配置相应的人物风格图像生成参数，包括：
20、设置人物风格图像的目标风格类型和生成图片个数，并根据其获取与之关联的目标风格模型id、目标风格提示词；
21、设置人物风格图像的参考动作，并根据其转换为对应的controlnet人物姿态参数。
22、进一步地，所述的基于所述目标风格基础模型、人物特有lora模型及人物风格图像生成参数进行文生图及图生图处理，最终获得目标人物风格图像，具体过程如下：
23、(1)获取用户选择的目标风格和合成人物风格图像数量；
24、(2)基于所述用户选择的目标风格，确定目标风格合成参数，包括目标风格基础模型、目标风格提示词参数；
25、(3)获取用户选择的姿态参考图，并基于姿态参考图确定姿态骨架图，最终确定目标风格controlnet姿态控制参数；
26、(4)基于所述目标风格合成参数、姿态控制参数、用户特有lora模型进行文生图处理，生成初始版本人物风格图像集，随后对初始版本人物风格图像集中的人脸区域和任一用于用户特有lora模型训练的人脸数据进行图像人脸嵌套融合处理，得到增进版本人物风格图像集；
27、(5)计算增进版本人物风格图像集中图像的人脸部分与任一符合规范的所述用户上传的人物形象数据的人脸部分的相似度，并将相似度结果按照从大到小的顺序进行排序，输出相似度分数最高的前n个人物风格图像给用户，即最终人物风格图像；其中n为用户选择的合成人物风格图像的数量。
28、本申请的第二方面提供了一种基于模型训练、图文生图技术的人物风格图像生成系统，包括：
29、目标风格基础模型优化模块，用于训练优化风格底模，扩大风格底模训练样本，提高风格底模泛化能力，得到优化后的目标风格基础模型；
30、人物形象训练数据获取模块，用于获取用户的人物形象数据，对人物形象数据进行预处理，提取用户的人脸特征信息，通过用户反馈机制进行人脸特征信息校对，获得最终的人物形象训练数据；
31、lora模型训练模块，用于将人物形象训练数据输入至stable diffusion模型，训练得到人物特有lora模型；
32、参数配置模块，用于设置人物风格图像生成信息，并基于所述人物风格图像生成信息配置本文档来自技高网...
【技术保护点】
1.一种基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的获取用户的人物形象数据，具体为：利用AIGC模型工具生成不同人物图像数据，人物图像数据的人物形象涵盖各年龄段、各性别样本，充分学习人脸特征及表情，结合多尺度特征融合技术和注意力机制，强化对人物图像数据中人脸的细节特征和重要特征的学习。
3.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，包括非真实图像过滤、人脸关键点检测、图像人脸旋转校正和图像美颜风格去除处理；
4.根据权利要求3所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，具体过程如下：
5.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：若用户提供的是图像数据，图像预处理后直接提取图像中的人脸特征信息；若用户提供的是多帧图像或动态视频，首先将多帧图像或
6.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的设置人物风格图像生成信息，并基于所述人物风格图像生成信息配置相应的人物风格图像生成参数，包括：
7.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的基于所述目标风格基础模型、人物特有LoRA模型及人物风格图像生成参数进行文生图及图生图处理，最终获得目标人物风格图像，具体过程如下：
8.一种基于模型训练、图文生图技术的人物风格图像生成系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-7任一项所述的基于模型训练、图文生图技术的人物风格图像生成方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如权利要求1-7任一项所述的基于模型训练、图文生图技术的人物风格图像生成方法。
...【技术特征摘要】
1.一种基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的获取用户的人物形象数据，具体为：利用aigc模型工具生成不同人物图像数据，人物图像数据的人物形象涵盖各年龄段、各性别样本，充分学习人脸特征及表情，结合多尺度特征融合技术和注意力机制，强化对人物图像数据中人脸的细节特征和重要特征的学习。
3.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，包括非真实图像过滤、人脸关键点检测、图像人脸旋转校正和图像美颜风格去除处理；
4.根据权利要求3所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：所述的对人物形象数据进行预处理，具体过程如下：
5.根据权利要求1所述的基于模型训练、图文生图技术的人物风格图像生成方法，其特征在于：若用户提供的是图像数据，图像预处理后直接提取图像中的人脸特征信息；若用户提供的是多帧图像或动态视频，首先将多帧图像或动态视频转化为...
【专利技术属性】
技术研发人员：汪琪，单国栋，陈佳仲，陈辉，薄萌萌，
申请(专利权)人：江苏号百科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。