图片处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:39253672 阅读:9 留言:0更新日期:2023-10-30 12:05
本申请提供一种图片处理方法、装置、电子设备及存储介质,该方法包括:对待分割图片进行特征提取,得到特征图片;基于特征图片的前景区域内各像素点与前景区域边缘之间的距离值,生成扩散图与互补扩散图;从多个感受野对特征图片进行特征提取,得到多个感受野图片;基于扩散图与互补扩散图对特征图片进行针对多个感受野的监督学习,得到多个感受野图片各自对应的加权系数;基于多个感受野图片以及多个感受野图片各自对应的加权系数,对待分割图片中含有的透明物体进行分割。本申请实施例的技术方案通过自适应感受野学习,进行透明物体分割,提高透明物体分割的准确性。提高透明物体分割的准确性。提高透明物体分割的准确性。

【技术实现步骤摘要】
图片处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
,具体而言,涉及一种图片处理方法、装置、电子设备及存储介质。

技术介绍

[0002]透明物体检测分割在机器人、视觉导航、自动驾驶等领域,有着极高的应用价值。日常生活中,透明物体如玻璃橱窗、玻璃易碎品等随处可见,由于这些物体本身的透明特性,导致与周围背景难以分辨,甚至在一些场景中,于人眼也不容易区分。
[0003]计算机视觉检测分割技术能实现自动对待分割图片的透明物体分割,当前,计算机视觉检测分割技术多数还是基于通用的语义分割方案进行调整,没有考虑到透明物体独有的一些特点,如透明、反光等特征,从而容易发生分割不完整等问题,或是透明物体定位错误等问题,导致透明物体分割精度受限。

技术实现思路

[0004]为解决上述技术问题,本申请的实施例提供了一种图片处理方法及装置、电子设备、计算机可读存储介质、计算机程序产品。
[0005]根据本申请实施例的一个方面,提供了一种图片处理方法,包括:对待分割图片进行特征提取,得到特征图片;基于所述特征图片的前景区域内各像素点与所述前景区域边缘之间的距离值,生成扩散图与互补扩散图;从多个感受野对所述特征图片进行特征提取,得到多个感受野图片;基于所述扩散图与所述互补扩散图对所述特征图片进行针对所述多个感受野的监督学习,得到所述多个感受野图片各自对应的加权系数;基于所述多个感受野图片以及所述多个感受野图片各自对应的加权系数,对所述待分割图片中含有的透明物体进行分割。
[0006]根据本申请实施例的一个方面,提供了一种图片处理装置,包括:特征提取模块,配置为对待分割图片进行特征提取,得到特征图片;扩散图获取模块,配置为基于所述特征图片的前景区域内各像素点与所述前景区域边缘之间的距离值,生成扩散图与互补扩散图;感受野特征提取模块,配置为从多个感受野对所述特征图片进行特征提取,得到多个感受野图片;加权系数获取模块,配置为基于所述扩散图与所述互补扩散图对所述特征图片进行针对所述多个感受野的监督学习,得到所述多个感受野图片各自对应的加权系数;透明物体分割模块,配置为基于所述多个感受野图片以及所述多个感受野图片各自对应的加权系数,对所述待分割图片中含有的透明物体进行分割。
[0007]在一实施例中,基于前述方案,扩散图获取模块,包括:二值化处理单元,配置为对所述特征图片的前景区域和背景区域分别进行二值化处理,得到二值化图片;像素点获取单元,配置为获取所述前景区域含有的第一像素点与所述前景区域边缘对应的第二像素点;目标距离值单元,配置为计算所述第一像素点与所述第二像素点之间的目标距离值;扩散图获取单元,配置为基于所述目标距离值与所述二值化图片,生成所述扩散图与所述互
补扩散图。
[0008]在一实施例中,基于前述方案,所述第一像素点和所述第二像素点均为多个;目标距离值单元,包括:像素点坐标获取板块,配置为获取多个第一像素点的坐标与多个第二像素点的坐标;距离值获取板块,配置为针对每个第一像素点,基于所述第一像素点的坐标与各个第二像素点的坐标,计算所述第一像素点分别与各个第二像素点之间的距离值,得到所述第一像素点对应的多个距离值;目标距离值获取板块,配置为从所述第一像素点对应的多个距离值中选取数值最小的距离值,并将所选取的距离值作为所述第一像素点与所述第二像素点之间的目标距离值。
[0009]在一实施例中,基于前述方案,扩散图获取单元,包括:归一化处理板块,配置为对所述目标距离值进行归一化处理;扩散图生成板块,配置为基于归一化处理后的目标距离值与所述二值化图片生成所述扩散图;互补距离值获取板块,配置为获取归一化处理后的目标距离值对应的互补距离值;其中,所述互补距离值与对应归一化处理后的目标距离值之和为预设数值;互补扩散图生成板块,配置为基于所述互补距离值与所述二值化图片生成所述互补扩散图。
[0010]在一实施例中,基于前述方案,所述多个感受野包括全局池化感受野以及不同空洞率的空洞卷积感受野;感受野特征提取模块,包括:全局图片获取单元,配置为对所述特征图片进行全局池化处理,得到全局池化感受野所对应的全局图片;卷积图片获取单元,配置为基于不同空洞率的空洞卷积对所述特征图片进行卷积处理,得到不同空洞率的空洞卷积感受野的多个卷积图片;感受野图片获取单元,配置为将所述全局图片和所述多个卷积图片作为所述多个感受野图片。
[0011]在一实施例中,基于前述方案,加权系数获取模块,包括:置信图获取单元,配置为基于所述扩散图与所述互补扩散图,分别监督学习所述多个感受野下的所述特征图片内不同位置的置信度,得到所述多个感受野各自对应的置信图;加权系数获取单元,配置为基于所述多个感受野各自对应的置信图,生成所述多个感受野图片各自对应的加权系数。
[0012]在一实施例中,基于前述方案,透明物体分割模块,包括:图片拼接单元,配置为将所述多个感受野图片进行拼接处理,得到拼接图片;加权处理单元,配置为基于所述多个感受野图片各自对应的加权系数对所述拼接图片进行加权处理,得到目标拼接图片;透明物体分割单元,配置为基于所述目标拼接图片对所述待分割图片的透明物体进行预测,并对所预测出的透明物体进行分割。
[0013]在一实施例中,基于前述方案,特征提取模块,包括:粗粒度特征提取单元,配置为对所述待分割图片进行粗粒度特征提取,得到初始图片;卷积单元,配置为基于多个残差块对所述初始图片分别进行卷积处理和空洞卷积处理,得到所述特征图片。
[0014]根据本申请实施例的一个方面,提供了一种电子设备,包括一个或多个处理器;存储装置,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现如上所述的图片处理方法。
[0015]根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如上所述的图片处理方法。
[0016]根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计
算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实施例中提供的图片处理方法。
[0017]根据本申请实施例的一个方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述的图片处理方法中的步骤。
[0018]在本申请的实施例所提供的技术方案中,通过前景区域的像素点与前景区域边缘之间的距离来确定扩散图与互补扩散图,使得该扩散图与互补扩散图能清晰的表达待分割图片中透明物体内部感受野的变化,并通过扩散图与互补扩散图所表征的透明物体内部感受野的变化调整对不同感受野特征的加权系数,从而使得根据不同的待分割图片自适应调整感受野,以此提高透明物体分割的准确率。
[0019]应当理解的是,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图片处理方法,其特征在于,包括:对待分割图片进行特征提取,得到特征图片;基于所述特征图片的前景区域内各像素点与所述前景区域边缘之间的距离值,生成扩散图与互补扩散图;从多个感受野对所述特征图片进行特征提取,得到多个感受野图片;基于所述扩散图与所述互补扩散图对所述特征图片进行针对所述多个感受野的监督学习,得到所述多个感受野图片各自对应的加权系数;基于所述多个感受野图片以及所述多个感受野图片各自对应的加权系数,对所述待分割图片中含有的透明物体进行分割。2.根据权利要求1所述的方法,其特征在于,所述基于所述特征图片的前景区域内各像素点与所述前景区域边缘之间的距离值,生成扩散图与互补扩散图,包括:对所述特征图片的前景区域和背景区域分别进行二值化处理,得到二值化图片;获取所述前景区域含有的第一像素点与所述前景区域边缘对应的第二像素点;计算所述第一像素点与所述第二像素点之间的目标距离值;基于所述目标距离值与所述二值化图片,生成所述扩散图与所述互补扩散图。3.根据权利要求2所述的方法,其特征在于,所述第一像素点和所述第二像素点均为多个;所述计算所述第一像素点与所述第二像素点之间的目标距离值,包括:获取多个第一像素点的坐标与多个第二像素点的坐标;针对每个第一像素点,基于所述第一像素点的坐标与各个第二像素点的坐标,计算所述第一像素点分别与各个第二像素点之间的距离值,得到所述第一像素点对应的多个距离值;从所述第一像素点对应的多个距离值中选取数值最小的距离值,并将所选取的距离值作为所述第一像素点与所述第二像素点之间的目标距离值。4.根据权利要求2所述的方法,其特征在于,所述基于所述目标距离值与所述二值化图片,生成所述扩散图与所述互补扩散图,包括:对所述目标距离值进行归一化处理;基于归一化处理后的目标距离值与所述二值化图片生成所述扩散图;获取归一化处理后的目标距离值对应的互补距离值;其中,所述互补距离值与对应归一化处理后的目标距离值之和为预设数值;基于所述互补距离值与所述二值化图片生成所述互补扩散图。5.根据权利要求1至4中任一项所述的方法,其特征在于,所述多个感受野包括全局池化感受野以及不同空洞率的空洞卷积感受野;所述从多个感受野对所述特征图片进行特征提取,得到多个感受野图片,包括:对所述特征图片进行全局池化处理,得到全局池化感受野所对应的全局图片;基于不同空洞率的空洞卷积对所述特征图片进行卷积处理,得到不同空洞率的空洞卷积感受野的多个卷积图片;将所述全局图片和所述多个卷积图片作为所述多个感受...

【专利技术属性】
技术研发人员:王昌安
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1