基于广域动态卷积的图像处理方法及装置制造方法及图纸

本公开涉及一种基于广域动态卷积的图像处理方法及装置，所述方法包括：对待处理图像进行特征提取，得到N级特征图，N为大于1的整数；对第N级特征图进行上采样，得到所述待处理图像的第一特征图；根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；根据所述第二特征图，确定所述待处理图像的图像处理结果。本公开的实施例可对待处理图像的特征图进行增强，提高特征图的分辨率及清晰度，进而可提高图像处理的准确性。

Image processing method and device based on wide area dynamic convolution

【技术实现步骤摘要】
基于广域动态卷积的图像处理方法及装置
本公开涉及计算机
，尤其涉及一种基于广域动态卷积的图像处理方法及装置。
技术介绍
目前，卷积神经网络被广泛应用于计算机视觉任务中。通常情况下，将原始图像输入卷积神经网络，经过多级卷积和下采样后，会得到一个分辨率比原始图像低、通道数比原始图像高的特征图，该特征图被认为编码了一定的空间信息(即该特征图保留了原始图像中像素点之间的相邻关系)，其每个像素点的特征向量被认为编码了丰富的语义信息。但是，该特征图存在分辨率低、模糊不清等问题，使得根据该特征图确定的图像处理结果的准确性较差。例如，标准的卷积运算的卷积核是空间共享的，经过标准的卷积运算得到的特征图较为平滑，容易丢失原始图像中的边缘信息，使得标准的卷积运算在执行语义分割、光流预测等稠密估计任务时的准确性较差。
技术实现思路
有鉴于此，本公开提出了一种基于广域动态卷积的图像处理方法及装置。根据本公开的一方面，提供了一种基于广域动态卷积的图像处理方法，所述方法包括：对待处理图像进行特征提取，得到N级特征图，N为大于1的整数；对第N级特征图进行上采样，得到所述待处理图像的第一特征图；根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；根据所述第二特征图，确定所述待处理图像的图像处理结果。在一种可能的实现方式中，根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核，包括：对所述N级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。在一种可能的实现方式中，根据所述第四特征图，确定与所述各个像素点对应的卷积核参数，包括：根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为C×k×k，C为所述第一特征图的通道数，C为正整数；将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。在一种可能的实现方式中，根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图，包括：根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；对于所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。在一种可能的实现方式中，对所述N级特征图进行尺寸调整及融合处理，得到第三特征图，包括：根据所述第一特征图的尺寸，对所述N级特征图进行尺寸调整，得到N个第五特征图，所述第五特征图的尺寸与所述第一特征图的尺寸相同；将所述N个第五特征图中位置相同的像素点的N个特征值相加，得到第三特征图。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括特征提取网络、卷积核生成网络及广域动态卷积网络，所述特征提取网络用于进行特征提取，所述卷积核生成网络用于确定各个像素点对应的卷积核，所述广域动态卷积网络用于确定第二特征图，其中，所述方法还包括：根据预设的训练集，训练所述特征提取网络，所述训练集中包括多个样本图像、所述多个样本图像的参考特征图及所述多个样本图像的参考处理结果；根据所述训练集及训练后的特征提取网络，训练所述卷积核生成网络及所述广域动态卷积网络。根据本公开的另一方面，提供了一种基于广域动态卷积的图像处理装置，其特征在于，所述装置包括：特征提取模块，用于对待处理图像进行特征提取，得到N级特征图，N为大于1的整数；上采样模块，用于对第N级特征图进行上采样，得到所述待处理图像的第一特征图；卷积核确定模块，用于根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；卷积及池化处理模块，用于根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；处理结果确定模块，根据所述第二特征图，确定所述待处理图像的图像处理结果。在一种可能的实现方式中，所述卷积核确定模块，包括：特征图融合子模块，用于对所述N级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；卷积及激活子模块，用于对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；卷积核确定子模块，用于根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。在一种可能的实现方式中，所述卷积核确定子模块，被配置为：根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为C×k×k，C为所述第一特征图的通道数，C为正整数；将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。在一种可能的实现方式中，所述卷积及池化处理模块，包括：邻近区域确定子模块，用于根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；卷积子模块，用于对所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；池化子模块，用于对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；特征图确定子模块，用于根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。根据本公开的实施例，能够对待处理图像进行特征提取，得到N级特征图，并对第N级特征图进行上采样，得到待处理图像的第一特征图，然后根据N级特征图及卷积核尺寸，确定与第一特征图中的各个像素点对应的卷积核，并根据与第一特征图中的各个像素点对应的卷积核及本文档来自技高网...

【技术保护点】
1.一种基于广域动态卷积的图像处理方法，其特征在于，所述方法包括：/n对待处理图像进行特征提取，得到N级特征图，N为大于1的整数；/n对第N级特征图进行上采样，得到所述待处理图像的第一特征图；/n根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；/n根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；/n根据所述第二特征图，确定所述待处理图像的图像处理结果。/n

【技术特征摘要】
1.一种基于广域动态卷积的图像处理方法，其特征在于，所述方法包括：
对待处理图像进行特征提取，得到N级特征图，N为大于1的整数；
对第N级特征图进行上采样，得到所述待处理图像的第一特征图；
根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核；
根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图；
根据所述第二特征图，确定所述待处理图像的图像处理结果。


2.根据权利要求1所述的方法，其特征在于，根据所述N级特征图及预设的卷积核尺寸，确定与所述第一特征图中的各个像素点对应的卷积核，包括：
对所述N级特征图进行尺寸调整及融合处理，得到第三特征图，所述第三特征图的尺寸与所述第一特征图的尺寸相同；
对所述第三特征图进行卷积及激活处理，得到第四特征图，所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同，所述第四特征图的通道数为所述第一特征图的通道数的k×k倍，其中k×k为预设的卷积核尺寸，k为正整数；
根据所述第四特征图，确定与所述各个像素点对应的卷积核参数。


3.根据权利要求2所述的方法，其特征在于，根据所述第四特征图，确定与所述各个像素点对应的卷积核参数，包括：
根据所述第四特征图，确定与所述第一特征图中的各个像素点对应的特征向量，所述特征向量的维数为C×k×k，C为所述第一特征图的通道数，C为正整数；
将与所述第一特征图中的各个像素点的对应的特征向量，转换为与所述各个像素点对应的卷积核参数。


4.根据权利要求1所述的方法，其特征在于，根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸，对所述第一特征图中的各个像素点分别进行卷积及池化处理，得到所述待处理图像的第二特征图，包括：
根据所述第一特征图中各个像素点的邻近区域尺寸，确定所述各个像素点的邻近区域；
对于所述第一特征图中的任一像素点，根据与所述像素点对应的卷积核，对所述第一特征图进行卷积处理，确定所述像素点的邻近区域中的各个像素点的第一卷积响应；
对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理，确定所述像素点的第二卷积响应；
根据所述第一特征图中各个像素点的第二卷积响应，确定待处理图像的第二特征图。


5.根据权利要求2所述的方法，其特征在于，对所述N级特征图进行尺寸调整及融合处理，得到第三特征图，包括：
根据所述第一特征图的尺寸，对所述N级特征图进行尺寸调整，得到N个第五特征图，所述第五特征图的尺寸与所述第一特征图的尺寸相同；
将所述N个第五特征图中位置相同的像素点的N个特征值相加，得到第三特征图。


6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法通过神经网络实现，所述神经网络包括...

【专利技术属性】
技术研发人员：季向阳，杨宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11