图像处理方法、装置和计算机可读存储介质制造方法及图纸

本公开涉及一种图像处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像；针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。语义分割模型的训练。语义分割模型的训练。

【技术实现步骤摘要】
图像处理方法、装置和计算机可读存储介质


[0001]本公开涉及计算机
，特别涉及一种图像处理方法、装置和计算机可读存储介质。

技术介绍

[0002]语义分割(Semantic Segmentation)是利用计算机视觉技术对图像中每个像素进行语义分类。该技术可应用于无人驾驶系统、智能机器人等领域。
[0003]目前，但是大多数语义分割算法都是为有利的光照和天气条件下捕获的白天场景而设计的，并且需要大量的标记，完成语义分割模型的训练。

技术实现思路

[0004]专利技术人发现：大多数语义分割算法不能很好的适用于不同光照和天气条件下的图像的语义分割，尤其是针对光照条件不好的夜间图像或者天气条件不好的雨天或雪天的图像，语义分割模型的准确度和适应性不好。并且由于需要大量标记进行训练，提高了人工成本，降低了训练效率。
[0005]本公开所要解决的一个技术问题是：如何提高语义分割模型针对不同光照或不同天气条件下的图像的分割准确度，提高训练效率。
[0006]根据本公开的一些实施例，提供的一种图像处理方法，包括：获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像；针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。
[0007]在一些实施例中，该方法还包括：针对每个图像对，将第一数据域图像输入生成器，得到第一数据域图像的特征信息，其中，生成器中的特征提取层与语义分割模型中的特征提取层结构和参数相同；将第一数据域图像的特征信息和第一数据域图像进行融合，得到第一融合数据；将第一融合数据输入判别器，得到第一判别结果；根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件包括：根据第一损失函数和第二损失函数确定总损失函数；根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件。
[0008]在一些实施例中，该方法还包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；根据第一损失函数和第二损失函数确定总损失函数包括：根据第一损失函数、第二损失函数和第三损失函数确
定总损失函数。
[0009]在一些实施例中，该方法还包括：针对每个图像对，将第二数据域图像和第一数据域图像进行融合，得到第二融合数据；将第二融合数据输入判别器，得到第二判别结果；根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数；根据第四损失函数调整判别器的参数，直至达到预设条件。
[0010]在一些实施例中，根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数包括：针对每个图像对，将第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第一数据域图像的区域特征信息；将第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第二数据域图像的区域特征信息；根据第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息，确定图像对所对应的互信息损失；根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。
[0011]在一些实施例中，根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数包括：根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。
[0012]在一些实施例中，第一损失函数采用以下公式表示：
[0013][0014]其中，B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1
‑
l
b
)
γ
表示第b个图像对的调整因子，l
b
表示第b个图像对的权重，γ为超参数。
[0015]在一些实施例中，
[0016][0017][0018]其中，det表示行列式。
[0019]在一些实施例中，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果包括：将第一数据域图像输入语义分割网络的特征提取层，得到第一数据域图像的基本特征信息，将第一数据域图像的基本特征信息输入语义分割网络的分类器，得到第一数据域图像中各个像素点属于各个语义分割的种类的概率，作为第一数据域图像的初步分割结果，将第一数据域图像的初步
分割结果进行上采样，得到第一数据域图像的分割结果；将第二数据域图像输入语义分割网络的特征提取层，得到第二数据域图像的基本特征信息，将第二数据域图像的基本特征信息输入语义分割网络的分类器，得到第二数据域图像中各个像素点属于各个语义分割的种类的概率，作为第二数据域图像的初步分割结果，将第二数据域图像的初步分割结果进行上采样，得到第二数据域图像的分割结果。
[0020]在一些实施例中，将第一数据域图像输入生成器，得到将第一数据域图像的特征信息包括：将第一数据域图像输入生成器的特征提取层，得到第一数据域图像的基本特征信息；将第一数据域图像的基本特征信息输入生成器的上采样层，得到将第一数据域图像的特征信息。
[0021]在一些实施例中，第二损失函数采用以下公式表示：
[0022][0023]其中，x表示第一数据域图像，B
S
表示第一数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(
·
)表示判别器函数，D(x,G(x))表示第一判别结果。
[0024]在一些实施例中，根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果，确定交叉熵损失函数，作为第三损失函数。
[0025]在一些实施例中，第四损失函数采用以下公式表示：
[0026][0027]其中，x表示第一数据域图像，y表示第二数据域图像，B
S
表示第一数据域图像的集合，B
t
表示第二数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(
·
)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且所述第一数据域图像和所述第二数据域图像属于不同光照条件或不同天气条件下的图像；针对每个图像对，将所述第一数据域图像和所述第二数据域图像分别输入语义分割网络，得到所述第一数据域图像的分割结果和所述第二数据域图像的分割结果；根据各个图像对中所述第一数据域图像的分割结果和所述第二数据域图像的分割结果的相似性，确定第一损失函数；根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件，以完成对所述语义分割模型的训练。2.根据权利要求1所述的图像处理方法，还包括：针对每个图像对，将所述第一数据域图像输入生成器，得到所述第一数据域图像的特征信息，其中，所述生成器中的特征提取层与所述语义分割模型中的特征提取层结构和参数相同；将所述第一数据域图像的特征信息和所述第一数据域图像进行融合，得到第一融合数据；将所述第一融合数据输入判别器，得到第一判别结果；根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数；所述根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件包括：根据所述第一损失函数和所述第二损失函数确定总损失函数；根据所述总损失函数调整所述语义分割模型的参数、所述生成器的参数和所述判别器的参数，直至达到预设收敛条件。3.根据权利要求2所述的图像处理方法，还包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；所述根据所述第一损失函数和所述第二损失函数确定总损失函数包括：根据所述第一损失函数、所述第二损失函数和所述第三损失函数确定总损失函数。4.根据权利要求2所述的图像处理方法，还包括：针对每个图像对，将所述第二数据域图像和所述第一数据域图像进行融合，得到第二融合数据；将所述第二融合数据输入所述判别器，得到第二判别结果；根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数；根据所述第四损失函数调整所述判别器的参数，直至达到预设条件。5.根据权利要求1所述的图像处理方法，其中，所述根据各个图像对中所述第一数据域图像的分割结果和所述第二数据域图像的分割结果的相似性，确定第一损失函数包括：针对每个图像对，将所述第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到所述第一数据域图像的区域特征信息；
将所述第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到所述第二数据域图像的区域特征信息；根据所述第一数据域图像的区域特征信息和所述第二数据域图像的区域特征信息之间的互信息，确定所述图像对所对应的互信息损失；根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。6.根据权利要求5所述的图像处理方法，其中，所述根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数包括：根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。7.根据权利要求6所述的图像处理方法，其中，所述第一损失函数采用以下公式表示：其中，B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1
‑
l
b
)
γ
表示第b个图像对的调整因子，l
b
表示第b个图像对的权重，γ为超参数。8.根据权利要求7所述的图像处理方法，其中，所述的图像处理方法，其中，其中，det表示行列式。9.根据权利要求1所述的图像处理方法，其中，所述将所述第一数据域图像和所述第二数据域图像分别输入语义分割网络，得到所述第一数据域图像的分割结果和所述第二数据域...

【专利技术属性】
技术研发人员：狄帅，裴积全，单新媛，许晓文，王希予，田洪宝，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：