图像处理方法技术

本申请实施例公开了一种图像处理方法

【技术实现步骤摘要】
图像处理方法、装置、计算机、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法
、
装置
、
计算机
、
存储介质及程序产品
。

技术介绍

[0002]随着图像处理的发展，经常会出现需要进行图像重绘的时候，一般情况下，是采用扩散模型进行图像重绘，扩散模型包括两个主要过程，前向扩散和反向扩散，一般是通过学习文本和图像之间的映射关系，根据特定文本生成对应的图像，因此，对扩散模型训练，需要人物训练图像中包括大头
、
半身和全身多种不同构图的数据
。
然而这种情况下，往往一个人物所能获取到的大头
、
半身或全身等多种不同构图的数据较少，也就是对扩散模型的训练样本较少，导致对扩散模型的训练效果较差
。
为解决该问题，现在一般促使扩散模型也可以学习到多种构图的人物图像，作为进一步图像重绘的样本，而这一方式，往往会出现不同构图过度部分出现明显的像素差异，导致图像重绘的性能较差
。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法
、
装置
、
计算机
、
存储介质及程序产品，可以提高图像重绘的性能及质量
。
[0004]本申请实施例一方面提供了一种图像处理方法，该方法包括：
[0005]获取待处理图像以及针对待处理图像的文本描述信息，识别待处理图像中的关键对象部位，得到关键区域图像，基于关键对象部位生成待处理图像所对应的部位掩码图像；
[0006]基于部位掩码图像及文本描述信息，对关键区域图像进行图像生成，得到第一重绘图像；
[0007]识别第一重绘图像中的重绘连接区域，对重绘连接区域进行连接调整，生成目标重绘图像
。
[0008]本申请实施例一方面提供了一种图像处理装置，该装置包括：
[0009]信息获取模块，用于获取待处理图像以及针对待处理图像的文本描述信息；
[0010]关键识别模块，用于识别待处理图像中的关键对象部位，得到关键区域图像；
[0011]掩码处理模块，用于基于关键对象部位生成待处理图像所对应的部位掩码图像；
[0012]图像重绘模块，用于基于部位掩码图像及文本描述信息，对关键区域图像进行图像生成，得到第一重绘图像；
[0013]重绘识别模块，用于识别第一重绘图像中的重绘连接区域；
[0014]重绘调整模块，用于对重绘连接区域进行连接调整，生成目标重绘图像
。
[0015]其中，该关键识别模块，包括：
[0016]语义分割单元，用于对待处理图像进行图像语义分割，得到语义分割图像；语义分割图像包括至少两个分割区域；
[0017]关键生成单元，用于获取关键对象部位在至少两个分割区域中对应的关键分割区
域，从待处理图像中获取关键分割区域所对应的数据，生成关键区域图像
。
[0018]其中，该关键识别模块，包括：
[0019]图像卷积单元，用于将待处理图像输入图像分割模型中，通过图像分割模型中的卷积层，对待处理图像进行特征识别，得到图像卷积特征；
[0020]信息解析单元，用于通过图像分割模型中的语义分割模块对图像卷积特征进行信息解析，得到信息编码特征；
[0021]全局处理单元，用于通过图像分割模型中的全局处理层，对信息编码特征进行全局特征处理，生成关键区域图像
。
[0022]其中，该掩码处理模块，具体用于：
[0023]将待处理图像中，关键对象部位所对应的第一区域中像素点的像素值置为第一像素值，将待处理图像中除第一区域之外的第二区域中像素点的像素值置为第二像素值，得到部位掩码图像
。
[0024]其中，该图像重绘模块，包括：
[0025]位置确定单元，用于基于文本描述信息，确定关键对象部位的部位位置信息；
[0026]图像缩放单元，用于基于部位位置信息，对关键区域图像及部位掩码图像进行缩放处理，得到关键区域图像所对应的关键输入图像，以及部位掩码图像所对应的第一掩码图像；
[0027]噪声生成单元，用于生成第一随机噪声；
[0028]图像融合单元，用于基于第一掩码图像对第一随机噪声与关键输入图像进行图像融合，生成第一重绘图像
。
[0029]其中，该图像融合单元，包括：
[0030]图像加噪子单元，用于对关键输入图像进行加噪处理，生成关键噪声图像；
[0031]区域确定子单元，用于基于第一掩码图像确定掩码区域与非掩码区域；
[0032]图像重绘子单元，用于将关键噪声图像中的掩码区域与第一随机噪声中的非掩码区域进行融合，生成融合噪声图像，对融合噪声图像进行去噪处理，得到第一重绘图像
。
[0033]其中，该图像加噪子单元，具体用于：
[0034]获取第一重绘迭代次数，基于第一重绘迭代次数对关键输入图像进行加噪处理，生成关键噪声图像；
[0035]该图像重绘子单元，具体用于：
[0036]将关键噪声图像中的掩码区域与第
i
‑1个更新噪声数据中的非掩码区域进行融合，生成第
i
个融合噪声图像；
i
为小于或等于第一重绘迭代次数的正整数；当
i
为1时，第
i
‑1个更新噪声数据为第一随机噪声；
[0037]对第
i
个融合噪声图像进行去噪处理，得到第
i
个更新噪声数据；
[0038]若
i
为第一重绘迭代次数，则将第
i
个更新噪声数据确定为第一重绘图像
。
[0039]其中，该重绘识别模块，包括：
[0040]轮廓识别单元，用于识别第一重绘图像中的关键对象部位，得到部位轮廓，从部位轮廓中获取重绘轮廓线；
[0041]位置获取单元，用于基于关键对象部位在第一重绘图像中的重绘位置信息，获取掩码拼接点；
[0042]区域组成单元，用于将重绘轮廓线与掩码拼接点组成重绘连接区域
。
[0043]其中，该重绘调整模块，包括：
[0044]数据生成单元，用于生成第二随机噪声，基于重绘连接区域对第一重绘图像进行二值化处理，生成重绘掩码图像；
[0045]重绘处理单元，用于基于重绘掩码图像对第二随机噪声与第一重绘图像进行图像融合，生成重绘融合图像，对重绘融合图像进行去噪处理，生成目标重绘图像
。
[0046]其中，该装置还包括：
[0047]数据获取模块，用于获取目标重绘图像所对应的文本描述样本，获取初始图像扩散模型；
[0048]模型更新模块，用于在初始图像扩散模型中插入数据处理层，得到图像扩散模型；
[0049]图像处理模块，用于将目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，所述方法包括：获取待处理图像以及针对所述待处理图像的文本描述信息，识别所述待处理图像中的关键对象部位，得到关键区域图像，基于所述关键对象部位生成所述待处理图像所对应的部位掩码图像；基于所述部位掩码图像及所述文本描述信息，对所述关键区域图像进行图像生成，得到第一重绘图像；识别所述第一重绘图像中的重绘连接区域，对所述重绘连接区域进行连接调整，生成目标重绘图像
。2.
如权利要求1所述的方法，其特征在于，所述识别所述待处理图像中的关键对象部位，得到关键区域图像，包括：对所述待处理图像进行图像语义分割，得到语义分割图像；所述语义分割图像包括至少两个分割区域；获取关键对象部位在所述至少两个分割区域中对应的关键分割区域，从所述待处理图像中获取所述关键分割区域所对应的数据，生成关键区域图像
。3.
如权利要求1所述的方法，其特征在于，所述识别所述待处理图像中的关键对象部位，得到关键区域图像，包括：将所述待处理图像输入图像分割模型中，通过所述图像分割模型中的卷积层，对所述待处理图像进行特征识别，得到图像卷积特征；通过所述图像分割模型中的语义分割模块对所述图像卷积特征进行信息解析，得到信息编码特征；通过所述图像分割模型中的全局处理层，对所述信息编码特征进行全局特征处理，生成关键区域图像
。4.
如权利要求1所述的方法，其特征在于，所述基于所述关键对象部位生成所述待处理图像所对应的部位掩码图像，包括：将所述待处理图像中，所述关键对象部位所对应的第一区域中像素点的像素值置为第一像素值，将所述待处理图像中除所述第一区域之外的第二区域中像素点的像素值置为第二像素值，得到部位掩码图像
。5.
如权利要求1所述的方法，其特征在于，所述基于所述部位掩码图像及所述文本描述信息，对所述关键区域图像进行图像生成，得到第一重绘图像，包括：基于所述文本描述信息，确定所述关键对象部位的部位位置信息；基于所述部位位置信息，对所述关键区域图像及所述部位掩码图像进行缩放处理，得到所述关键区域图像所对应的关键输入图像，以及所述部位掩码图像所对应的第一掩码图像；生成第一随机噪声，基于所述第一掩码图像对所述第一随机噪声与所述关键输入图像进行图像融合，生成第一重绘图像
。6.
如权利要求5所述的方法，其特征在于，所述基于所述第一掩码图像对所述第一随机噪声与所述关键输入图像进行图像融合，生成第一重绘图像，包括：对所述关键输入图像进行加噪处理，生成关键噪声图像；基于所述第一掩码图像确定掩码区域与非掩码区域，将所述关键噪声图像中的掩码区
域与所述第一随机噪声中的非掩码区域进行融合，生成融合噪声图像，对所述融合噪声图像进行去噪处理，得到第一重绘图像
。7.
如权利要求6所述的方法，其特征在于，所述对所述关键输入图像进行加噪处理，生成关键噪声图像，包括：获取第一重绘迭代次数，基于所述第一重绘迭代次数对所述关键输入图像进行加噪处理，生成关键噪声图像；所述将所述关键噪声图像中的掩码区域与所述第一随机噪声中的非掩码区域进行融合，生成融合噪声图像，对所述融合噪声图像进行去噪处理，得到第一重绘图像，包括：将所述关键噪声图像中的掩码区域与第
i
‑1个更新噪声数据中的非掩码区域进行融合，生成第
i
个融合噪声图像；
i
为小于或等于所述第一重绘迭代次数的正整数；当
i
为1时，所述第
i
‑1个更新噪声数据为所述第一随机噪声；对所述第
i
个融合噪声图像进行去噪处理，得到第
i
个更新噪声数据；若
i
为所述第一重绘迭代次数，则将所述第
i
个更新噪声数据确定为第一重绘图像
。8....

【专利技术属性】
技术研发人员：华锐，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：