本发明专利技术公开了一种图像处理方法、装置、存储介质及处理器。其中，该方法包括：从视频中获取待处理的图像帧，其中，待处理的图像帧中包括目标对象的图像；将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量；通过图像分割模型中的解码器对待处理的图像帧的特征向量进行特征解码，得到解码结果；基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像。本发明专利技术解决了相关技术中对视频中图像分割的稳定性较差的技术问题。中图像分割的稳定性较差的技术问题。中图像分割的稳定性较差的技术问题。
【技术实现步骤摘要】
图像处理方法、装置、存储介质及处理器
[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像处理方法、装置、存储介质及处理器。
技术介绍
[0002]目前图像分割在很多应用场景中均有应用，然而图像分割的因精度要求较高，大部分都会以云端API或者借助设备端弱化的图形处理器的推理模式去实现；然而移动端受控于计算资源，在有限的计算资源下，对视频中图像分割的稳定性较差。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种图像处理方法、装置、存储介质及处理器，以至少解决相关技术中对视频中图像分割的稳定性较差的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：从视频中获取待处理的图像帧，其中，待处理的图像帧中包括目标对象的图像；将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量；通过图像分割模型中的解码器对待处理的图像帧的特征向量进行特征解码，得到解码结果；基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像。
[0006]进一步地，将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量包括：将待处理的图像帧和前序图像的分割结果输入图像分割模型中进行编码，获取目标编码层的输出，得到目标编码层输出的特征集合，其中，目标编码层为编码器中最后一层编码层的前一层编码层；将目标编码层输出的特征集合输入编码器中的最后一层编码层进行特征编码，得到待处理的图像帧的特征向量，其中，最后一层编码层中的神经网络配置有不同的卷积核大小，以去提取不同尺度的特征。
[0007]进一步地，将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量之前，该方法还包括：确定样本图像，其中，样本图像中包括以下至少之一：当前帧图像、当前帧图像的前N帧图像的分割结果和前N帧图像的原始图像，N≥1；基于样本图像对神经网络进行训练学习，生成图像分割模型。
[0008]进一步地，基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像包括：对解码结果采用第一约束条件，得到目标对象的第一图像；对解码结果采用第二约束条件，得到目标对象的第二图像；将目标对象的第一图像和目标对象的第二图像作为对待处理的图像帧的分割结果。
[0009]进一步地，在基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像之后，该方法还包括：接收目标对象输入用于获取目标对象的图像的请求指令；响应请求指令，将目标对象的图像推送至目标对象。
[0010]进一步地，在将目标对象的图像推送至目标对象之后，该方法还包括：若检测到目标对象对目标对象的图像进行修改，获取修改结果；基于修改结果对图像分割模型进行修正，以更新图像分割模型。
[0011]进一步地，在将目标对象的图像推送至目标对象之后，该方法还包括：若检测到目标对象对目标对象的图像的背景进行调整，获取调整后的目标对象的图像；将调整后的目标对象的图像上传至目标应用程序以进行发布。
[0012]根据本专利技术实施例的一个方面，还提供了一种图像处理方法，包括：接收移动端发送的服务调用请求，其中，服务调用请求中携带有待处理的图像帧，待处理的图像帧中包括目标对象的图像；响应服务调用请求，在服务器中将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量，通过图像分割模型中的解码器对待处理的图像帧的特征向量进行特征解码，得到解码结果；基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像；输出目标对象的图像。
[0013]进一步地，在输出目标对象的图像之后，该方法还包括：若检测到对目标对象的图像进行修改，获取修改结果；在服务器中基于修改结果对图像分割模型进行修正，以更新图像分割模型。
[0014]根据本专利技术实施例的一个方面，还提供了一种图像处理方法，包括：从会议视频中获取待处理的图像帧，其中，待处理的图像帧中包括目标对象的图像；将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量；通过图像分割模型中的解码器对待处理的图像帧的特征向量进行特征解码，得到解码结果；基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像。
[0015]进一步地，在基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像之后，该方法还包括：若检测到对目标对象的图像的背景进行调整，获取调整后的目标对象的图像；将调整后的目标对象的图像上传至会议视频，以作为目标对象的标识。
[0016]根据本专利技术实施例的另一方面，还提供了一种图像处理装置，包括：第一获取单元，用于从视频中获取待处理的图像帧，其中，待处理的图像帧中包括目标对象的图像；第一编码单元，用于将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量；第一解码单元，用于通过图像分割模型中的解码器对待处理的图像帧的特征向量进行特征解码，得到解码结果；第二获取单元，用于基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像。
[0017]进一步地，第一编码单元包括：第一获取模块，用于将待处理的图像帧和前序图像的分割结果输入图像分割模型中进行编码，获取目标编码层的输出，得到目标编码层输出的特征集合，其中，目标编码层为编码器中最后一层编码层的前一层编码层；第一编码模块，用于将目标编码层输出的特征集合输入编码器中的最后一层编码层进行特征编码，得到待处理的图像帧的特征向量，其中，最后一层编码层中的神经网络配置有不同的卷积核大小，以去提取不同尺度的特征。
[0018]进一步地，该装置还包括：第一确定单元，用于将待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到待处理的图像帧的特征向量之前，确定样本图像，其中，样本图像中包括以下至少之一：当前帧图像、当前帧图像的前N帧图像的分割结果和前N帧图像的原始图像，N≥1；第一生成单元，用于基于样本图像对神经网络
进行训练学习，生成图像分割模型。
[0019]进一步地，第二获取单元包括：第二获取模块，用于对解码结果采用第一约束条件，得到目标对象的第一图像；第三获取模块，用于对解码结果采用第二约束条件，得到目标对象的第二图像；第四获取模块，用于将目标对象的第一图像和目标对象的第二图像作为对待处理的图像帧的分割结果。
[0020]进一步地，该装置还包括：第一接收单元，用于在基于解码结果，得到从待处理的图像帧中分割出的目标对象的图像之后，接收目标对象输入用于获取目标对象的图像的请求指令；第一响应单元，用于响应请求指令，将目标对象的图像推送至目标对象。
[0021]进一步的，该装置还包括：第三获取单元，用于在将目标对象的图像推送至目标对象之后，若检测到目标对象对目标对象的图像进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：从视频中获取待处理的图像帧，其中，所述待处理的图像帧中包括目标对象的图像；将所述待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到所述待处理的图像帧的特征向量；通过所述图像分割模型中的解码器对所述待处理的图像帧的特征向量进行特征解码，得到解码结果；基于所述解码结果，得到从所述待处理的图像帧中分割出的所述目标对象的图像。2.根据权利要求1所述的方法，其特征在于，将所述待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到所述待处理的图像帧的特征向量包括：将所述待处理的图像帧和前序图像的分割结果输入图像分割模型中进行编码，获取目标编码层的输出，得到所述目标编码层输出的特征集合，其中，所述目标编码层为所述编码器中最后一层编码层的前一层编码层；将所述目标编码层输出的特征集合输入所述编码器中的最后一层编码层进行特征编码，得到所述待处理的图像帧的特征向量，其中，所述最后一层编码层中的神经网络配置有不同的卷积核大小，以去提取不同尺度的特征。3.根据权利要求1所述的方法，其特征在于，将所述待处理的图像帧和前序图像的分割结果输入图像分割模型中的编码器中进行编码，得到所述待处理的图像帧的特征向量之前，所述方法还包括：确定样本图像，其中，所述样本图像中包括以下至少之一：当前帧图像、当前帧图像的前N帧图像的分割结果和前N帧图像的原始图像，N≥1；基于所述样本图像对神经网络进行训练学习，生成所述图像分割模型。4.根据权利要求1所述的方法，其特征在于，基于所述解码结果，得到从所述待处理的图像帧中分割出的所述目标对象的图像包括：对所述解码结果采用第一约束条件，得到所述目标对象的第一图像；对所述解码结果采用第二约束条件，得到所述目标对象的第二图像；将所述目标对象的第一图像和所述目标对象的第二图像作为对所述待处理的图像帧的分割结果。5.根据权利要求1所述的方法，其特征在于，在基于所述解码结果，得到从所述待处理的图像帧中分割出的所述目标对象的图像之后，所述方法还包括：接收目标对象输入用于获取所述目标对象的图像的请求指令；响应所述请求指令，将所述目标对象的图像推送至所述目标对象。6.根据权利要求5所述的方法，其特征在于，在将所述目标对象的图像推送至所述目标对象之后，所述方法还包括：若检测到所述目标对象对所述目标对象的图像进行修改，获取修改结果；基于修改结果对所述图像分割模型进行修正，以更新所述图像分割模型。7.根据权利要求5所述的方法，其特征在于，在将所述目标对象的图像推送至所述目标对象之后，所述方法还包括：若检测到所述目标对象对所述目标对象的图像的背景进...
【专利技术属性】
技术研发人员：侯文迪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。