本发明专利技术涉及的是一种半监督的跨领域自适应的图像分割方法，属于图像识别技术领域。本发明专利技术对来自不同数据域的图像使用共享的卷积层的方式学习数据域间共有的特征信息，并使用独立的批归一化层处理不同数据域的分布差异，从而让一个模型可以在克服数据域差异的情况下实现跨域的知识迁移。针对目标域数据缺乏标注的情况，本发明专利技术的半监督域适应方法使用一个辅助网络，通过辅助网络与主网络针对同一个样本产生的不同噪声图像的预测之间的一致性，充分利用未标注数据进行学习，并进一步利用对比学习策略提高域不变特征的学习。本发明专利技术提出的方法可以解决图像分割模型在处理不同中心的数据时遇到的性能不稳定问题，并且在新的中心的数据中仅需少量的标注就可以让模型取得鲁棒的性能。在实际基于深度神经网络的图像分割场景中，可有效提高模型的稳定性和泛化能力。可有效提高模型的稳定性和泛化能力。可有效提高模型的稳定性和泛化能力。
【技术实现步骤摘要】
一种半监督的跨领域自适应的图像分割方法
[0001]本专利技术涉及的是一种图像的自动分割技术，特别是针对从一个从带标注的源数据域中训练的算法模型迁移到另一个含少量标注的目标数据域进行图像分割，属于图像识别方法领域。
技术介绍
[0002]随着成像技术的不断发展，图像分割技术成为理解图像内容、实现计算机视觉的重要基础，比如对街景图像的自动分割是自动驾驶汽车的重要基础，在医学图像中对病灶的分割有助于医生对疾病做出精确的诊断和定量化的评估。由于对图像进行人工手动分割是一项费时费力的事情，将人工宝贵的时间浪费在对目标区域的低效率勾画上是不可取的，因此图像的自动分割方法越来越受到临床上的关注。近年来，随着深度学习的出现，全监督的自动分割算法的表现接近甚至是超过人类的水平，基于深度学习的图像自动分割方法已经逐渐成为目前的主流方法并逐渐得到应用。
[0003]对目前的图像自动分割模型进行研究发现，尽管深度学习在图像分割任务中可以取得令人瞩目的表现，但是这些好的表现都依赖于大量的含像素级别的精确标注的图像进行训练，即全监督学习。图像的逐像素精确标注十分耗时，且在某些情况下依赖于具有专业知识的人员来操作，导致获得高质量的标注数据十分困难，时间和人力成本高昂。这已经成为深度学习算法发展的主要障碍。同时，传统的全监督深度学习方法普遍具有较差的跨领域适应性，在一批数据上训练好模型后，当新来一批没有在训练时见过的数据时，模型的性能往往会有非常明显的下降。这主要是由于不同中心的图像在成像模态、成像参数、目标物体的特点、环境变化等因素上存在较多差异，导致两个中心的图像存在分布差异，即域偏移，从而在一个数据域上训练的模型不能直接用于另一个数据域。
[0004]传统的迁移学习方法需要目标数据域图像的完整标注，具有较高的标注成本，即利用在源数据域上预训练的模型作为初始模型，再使用目标域的图像及其标注进行全监督学习。高昂的标注成本限制了这些方法的实用性。为了解决这一问题，本专利技术提出一种半监督的域适应方法，即只需要目标数据域的少量标注图像，将预训练模型适应到该数据域，从而提高模型在新的目标数据域的性能。
技术实现思路
[0005]本专利技术的目的在于克服现有的图像自动分割算法的跨数据域迁移和适应能力不足的问题和现有的迁移学习方法依赖大量人工标注的问题，提出一种基于对比学习的半监督域适应方法用于图像分割。已有的全监督迁移学习技术需要对目标数据域的图像进行大量精确标注，标注成本高，限制了方法的实用性。同时，目前的无监督域适应方法不使用目标数据域上的任何标注信息，缺乏有效的监督信号，导致其难以取得满意的性能。本专利技术的设计的半监督域适应方法，只需要对目标数据域上的图像进行少量标注，有效减少标注成本的同时，也提供了足够的监督信号以保证算法的性能。
[0006]本专利技术采用一种新的基于半监督知识迁移的领域适应方法来解决不同中心的数据分布差异带来的域偏移的问题和数据标注不足的挑战。对于一个给定的已标注的源数据域和一个带部分标注的目标数据域，本专利技术采用域适应性批归一化的神经网络进行学习，在分别对两个数据域的图像的特征进行适应性批归一化后，消除域差异，并通过共享卷积参数，学习到域不变特征。同时，本专利技术采用对比学习的方法，通过构建对比学习策略让网络更关注到领域不变的特征信息。在此基础上，基于一种主网络和辅助网络的半监督学习方法，通过学习源域和有部分标注的目标域数据获得分割能力，将源域的知识迁移到目标域上，克服目标域图像标注量少的不足，从而得到在目标域上具有较高性能的分割模型。
[0007]本专利技术技术方案为一种半监督的跨领域自适应的图像分割方法，该方法包括以下步骤：
[0008]步骤1：图像预处理；
[0009]将获取的彩色图片先转换成灰度图片，并且将灰度图进行直方图匹配，完成预处理；
[0010]步骤2：构建基于域适应性批归一化的主网络
[0011]主网络包括级联的编码器和解码器，所述编码器由多个级联的卷积
‑
下采样单元组成，每个卷积
‑
下采样单元包括一个卷积层和一个下采样层，每个卷积层包括一个卷积运算，一个批归一化层和一个激活层；解码器由多个级联的卷积
‑
上采样单元组成，其中的每个卷积
‑
上采样单元包含一个卷积层和一个上采样层，其中卷积层与编码器中的卷积层结构一致；
[0012]考虑到源数据域的图像和目标数据域的图像在分布上存在差异，为了消除这种差异，分别针对两个数据域设立批归一化层；用S和T分别表示源数据域和目标数据域，d∈{S,T}表示其中的某一个数据域，f
d
表示神经网络中某一层在数据域d的特征图，表示f
d
的第c个通道，对进行批归一化的操作如下：
[0013][0014]其中，和分别是尺度系数和偏移系数，中间值由如下公式得到：
[0015][0016]其中和分别是在当前批次中的均值和方差；
[0017]设数据集中包含N张带标注的源数据域图像及其标注M张带标注的目标域图像及其标注以及K张未标注的目标域图像用θ表示神经网络中卷积层的参数，分别表示源数据域和目标数据域的批归一化参数，将图像分割网络的所有参数表示为
[0018]将N张带标注的源数据域图像送入主网络，以进行归一化，并将M张带标注的目标域图像送入主网络，以进行归一化，得到的预测结果分别表示为和
其中n＝1,2,
…
,N,m＝1,2,
…
,M；主网络针对源数据域图像和目标域图像的监督损失函数L
s
为：
[0019][0020]其中，是主网络利用θ,对源数据域的图像的预测结果，是主网络利用θ,对目标数据域的图像的预测结果，L
seg
为图像分割损失函数；
[0021]步骤3：构建基于指数移动平均的辅助网络和一致性约束；
[0022]以作为主网络，设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理；具体地，用表示主网络的针对目标域的参数，Θ
′
表示辅助网络对应的所有参数，辅助网络的参数通过指数移动平均的方式进行更新，用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻，α∈[0,1]是控制参数更新速度的超参数，Θ
′
的更新过程如下：
[0023]Θ
′
t+1
＝αΘ
′
t
+(1
‑
α)Θ
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0024]针对目标数据域中的所有M+K张图像，对分别添加不同的随机噪声δ
′
和δ
″
，其中k＝1,2,
…
,M+K，得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络，得到其预测结果同时将输入辅助网络，得到其预测结果构建这两个预测之间的一致性约束如下：...
【技术保护点】
【技术特征摘要】
1.一种半监督的跨领域自适应的图像分割方法，该方法包括以下步骤：步骤1：图像预处理；将获取的彩色图片先转换成灰度图片，并且将灰度图进行直方图匹配，完成预处理；步骤2：构建基于域适应性批归一化的主网络主网络包括级联的编码器和解码器，所述编码器由多个级联的卷积
‑
下采样单元组成，每个卷积
‑
下采样单元包括一个卷积层和一个下采样层，每个卷积层包括一个卷积运算，一个批归一化层和一个激活层；解码器由多个级联的卷积
‑
上采样单元组成，其中的每个卷积
‑
上采样单元包含一个卷积层和一个上采样层，其中卷积层与编码器中的卷积层结构一致；考虑到源数据域的图像和目标数据域的图像在分布上存在差异，为了消除这种差异，分别针对两个数据域设立批归一化层；用S和T分别表示源数据域和目标数据域，d∈{S,T}表示其中的某一个数据域，f
d
表示神经网络中某一层在数据域d的特征图，表示f
d
的第c个通道，对进行批归一化的操作如下：其中，和分别是尺度系数和偏移系数，中间值由如下公式得到：其中和分别是在当前批次中的均值和方差；设数据集中包含N张带标注的源数据域图像及其标注M张带标注的目标域图像及其标注以及K张未标注的目标域图像用θ表示神经网络中卷积层的参数，分别表示源数据域和目标数据域的批归一化参数，将图像分割网络的所有参数表示为将N张带标注的源数据域图像送入主网络，以进行归一化，并将M张带标注的目标域图像送入主网络，以进行归一化，得到的预测结果分别表示为和(θ,)，其中n＝1,2,
…
,N,m＝1,2,
…
,M；主网络针对源数据域图像和目标域图像的监督损失函数L
s
为：其中，是主网络利用θ,对源数据域的图像的预测结果，是主网络利用θ,对目标数据域的图像的预测结果，L
seg
为图像分割损失函数；步骤3：构建基于指数移动平均的辅助网络和一致性约束；以作为主网络，设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理；具体地，用表示主网络的针对目标域的参数，Θ
′
表示辅助网络对应的所有参数，辅助网络的参数通过指数移动平均的方式进行更新，用t和t+1分别表示训练过程中当前迭代时刻...
【专利技术属性】
技术研发人员：王国泰，顾然，张靖阳，张少霆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。