一种基于空间上下文变分自动编码器的图像异常检测方法技术

本发明专利技术公开了一种基于空间上下文变分自动编码器的图像异常检测方法，所述方法通过使用空间上下文变分自动编码器，进行图像生成与注意力校正，检测异常图像；所述空间上下文变分自动编码器包括两个不同的变分自动编码器：第一个为空间变分自动编码器，用于学习正常图像的空间特征；第二个为上下文变分自动编码器，用于学习正常图像的全局上下文特征。本发明专利技术通过使用空间上下文变分自动编码器学习正常图像的分布，检测不符合正常图像分布的疾病图像，通过准确学习正常图像的空间特征和上下文特征，在有效检测异常的同时降低误报；同时使用注意力校正方法，进一步提高异常检测的准确率。确率。确率。

【技术实现步骤摘要】
一种基于空间上下文变分自动编码器的图像异常检测方法


[0001]本专利技术涉及医学图像异常检测
，具体提供一种基于空间上下文变分自动编码器的 图像异常检测方法。

技术介绍

[0002]在医学影像分析领域，呈现异常表征的病变生物组织图像通常较难收集，一些罕见病变很 少或尚未被发现。相比之下，健康人群的正常生物组织图像相对容易收集，并且组织更加规律。 因此，为了摆脱对收集大量病变生物组织图像的依赖，异常检测技术被广泛应用于医学影像分 析领域。
[0003]具体来说，异常检测是指通过只使用正常样本训练的模型，检测与正常样本不相符的异常 样本的方法。该类方法不仅摆脱了对难以收集的病变样本的依赖，还可以有效检测到很少或尚 未被人们发现的罕见疾病。目前，随着深度学习的发展，基于深度学习的图像异常检测方法正 成为医学影像分析领域中的研究热点。
[0004]现有的图像异常检测方法可以总结为两大类，分别为基于重建的图像异常检测方法和基于 表示的图像异常检测方法，其中；
[0005]基于重建的异常检测方法依赖于编码器
‑
解码器结构，并使用输入图像和重建图像的重建 误差作为检测异常的指标；
[0006]基于表示的图像异常检测方法使用预训练的网络提取表示图像的特征向量或特征块，并通 过测试图像的特征向量或特征块与正常样本的特征向量或特征块之间的距离来检测异常。
[0007]变分自动编码器(Variational Auto
‑
Encoder,VAE)：变分自动编码器是重要的深度生成模型， 它不仅可以学习训练数据集的特征分布，并且可以提供从数据到潜空间再到数据的完整映射， 因此它也是重要的重建模型，被广泛应用于异常检测任务中。不同于普通的重建模型，变分自 动编码器通过学习正常数据的分布，将异常数据重建为特征最接近的正常数据，使得异常更容 易被捕获。然而，先前的工作大多针对正常数据集整体特征的分布，没有考虑到具体的上下文 特征和空间特征。
[0008]类激活映射：随着深度学习的发展，深度卷积神经网络广泛地应用于图像的各类任务中， 尽管它们解决主要视觉任务的能力是不断在进步的，但它们仍然像黑盒架构一样工作，并且解 释这些模型是一项困难的任务。为此，类激活映射通过计算特征提取网络种最后一层特征图的 权重，找到网络重点关注的区域，从视觉的角度进一步解释神经网络工作的机理。近年来，部 分工作转向在生成网络中寻找网络关注的区域，并将其运用于图像异常检测任务中。目前的工 作大多依赖于梯度信息，然而由于神经网络训练中的梯度饱和和梯度爆炸，梯度信息并不稳定。

技术实现思路

[0009]本专利技术的技术任务是针对上述存在的问题，提供了一种基于空间上下文变分自动
编码器的 图像异常检测方法，通过准确学习正常图像的空间特征和上下文特征，在有效检测异常的同时 降低误报；同时使用注意力校正方法，进一步提高异常检测的准确率。
[0010]为实现上述目的，本专利技术提供了如下技术方案：
[0011]一种基于空间上下文变分自动编码器的图像异常检测方法，所述方法通过使用空间上下文 变分自动编码器，进行图像生成与注意力校正，检测异常图像；
[0012]所述空间上下文变分自动编码器包括两个不同的变分自动编码器：
[0013]第一个为空间变分自动编码器，用于学习正常图像的空间特征；
[0014]第二个为上下文变分自动编码器，用于学习正常图像的全局上下文特征；
[0015]所述方法的实现包括如下步骤：
[0016]a)收集医学图像数据，对收集的数据进行预处理；
[0017]b)提取预处理后图像中的生物组织区域；
[0018]c)通过所述空间上下文变分自动编码器，学习正常生物组织的空间及上下文特征的分布；
[0019]d)提出一种不依赖于梯度的定位算法，生成关注异常区域的注意力图；
[0020]e)在检测阶段，通过构建一个异常分数，评价待检测图像的异常情况。
[0021]所述医学图像数据的收集和预处理过程包括：
[0022]a
‑
1)通过医学成像设备采集医学图像，图像每个像素点的取值范围为0
‑
255；
[0023]a
‑
2)通过双线性插值方法将所述图像的分辨率进行标准化。
[0024]所述提取预处理后图像中的生物组织区域采用自监督分割网络的方法，包括步骤如下：
[0025]b
‑
1)构建灰度直方图，计算正常图像中生物组织区域的边缘坐标；
[0026]b
‑
2)根据得到的边缘坐标，将边缘内部填充，获得二值掩膜图像，其中，生物组织区域为 1，其它区域为0；
[0027]b
‑
3)将所获得的二值掩膜图像与原始图像相乘，只保留原始图像中的生物组织区域，排除 无关区域对检测的干扰；
[0028]b
‑
4)使用正常医学图像及提取的生物组织区域作为训练样本x及对应的标签y，训练一个 分割网络，用于自动提取正常及异常图像中的生物组织区域；
[0029]b
‑
5)所述分割网络的基本架构包含3组卷积模块，4组下采样模块，和4组上采样模块， 所述上采样过程使用跳层连接技术；
[0030]b
‑
6)所述分割网络的优化目标函数为：
[0031][0032]其中，p为图像x的预测值，y为标签，N为训练样本的个数；
[0033]b
‑
7)训练过后，将所述分割网络的参数固定。原始图像将先通过分割网络，得到生物组织 区域的分割结果，将分割结果的二值图像与原始图像相乘，得到后续网络的输入图像I
r
。
[0034]所述空间变分自动编码器的构建包括如下步骤：
[0035]c
‑
1)构建特征提取网络、分布学习网络以及图像重建网络；
[0036]c
‑
2)所述空间变分自动编码器的特征提取网络包含4个卷积层、1个最大池化层、4
组残 差模块和一个平均池化层，其分布学习网络包含三个卷积层，图像重建网络包含9组反卷积模 块和1个卷积层；
[0037]c
‑
3)空间变分自动编码器的目标函数为：
[0038][0039]其中，第一项D
KL
(q
φs
(z
s
))||p
θs
(z
s
))为相对熵损失函数，其中,为输入数据的空 间潜变量，p
θs
(z
s
)为正常空间特征的真实后验分布，q
φs
(z
s
)为已知的高斯分布，用以逼近正常 空间特征的真实后验分布；
[0040]第二项||I
r
‑
I
s...

【技术保护点】

【技术特征摘要】
1.一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述方法通过使用空间上下文变分自动编码器，进行图像生成与注意力校正，检测异常图像；所述空间上下文变分自动编码器包括两个不同的变分自动编码器：第一个为空间变分自动编码器，用于学习正常图像的空间特征；第二个为上下文变分自动编码器，用于学习正常图像的全局上下文特征。2.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述方法的实现包括如下步骤：a)收集医学图像数据，对收集的数据进行预处理；b)提取预处理后图像中的生物组织区域；c)通过所述空间上下文变分自动编码器，学习正常生物组织的空间及上下文特征的分布；d)提出一种不依赖于梯度的定位算法，生成关注异常区域的注意力图；e)在检测阶段，通过构建一个异常分数，评价待检测图像的异常情况。3.根据权利要求2所述的一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述医学图像数据的收集和预处理过程包括：a
‑
1)通过医学成像设备采集医学图像，图像每个像素点的取值范围为0
‑
255；a
‑
2)通过双线性插值方法将所述图像的分辨率进行标准化。4.根据权利要求2所述的一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述提取预处理后图像中的生物组织区域采用自监督分割网络的方法，包括步骤如下：b
‑
1)构建灰度直方图，计算正常图像中生物组织区域的边缘坐标；b
‑
2)根据得到的边缘坐标，将边缘内部填充，获得二值掩膜图像，其中，生物组织区域为1，其它区域为0；b
‑
3)将所获得的二值掩膜图像与原始图像相乘，只保留原始图像中的生物组织区域，排除无关区域对检测的干扰；b
‑
4)使用正常医学图像及提取的生物组织区域作为训练样本x及对应的标签y，训练一个分割网络，用于自动提取正常及异常图像中的生物组织区域；b
‑
5)所述分割网络的基本架构包含3组卷积模块，4组下采样模块，和4组上采样模块，所述上采样过程使用跳层连接技术；b
‑
6)所述分割网络的优化目标函数为：其中，p为图像x的预测值，y为标签，N为训练样本的个数；b
‑
7)训练过后，将所述分割网络的参数固定。原始图像将先通过分割网络，得到生物组织区域的分割结果，将分割结果的二值图像与原始图像相乘，得到后续网络的输入图像Ir。5.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述空间变分自动编码器的构建包括如下步骤：c
‑
1)构建特征提取网络、分布学习网络以及图像重建网络；
c
‑
2)所述空间变分自动编码器的特征提取网络包含4个卷积层、1个最大池化层、4组残差模块和一个平均池化层，其分布学习网络包含三个卷积层，图像重建网络包含9组反卷积模块和1个卷积层；c
‑
3)空间变分自动编码器的目标函数为：其中，第一项D
KL
(q
φs
(z
s
))||p
θs
(z
s
))为相对熵损失函数，其中,为输入数据的空间潜变量，p
θs
(z
s
)为正常空间特征的真实后验分布，q
φs
(z
s
)为已知的高斯分布，用以逼近正常空间特征的真实后验分布；第二项||I
r
‑
I
s
||1是重建误差损失函数，其中I
s
为空间变分自动编码器的重建图像。6.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法，其特征在于，所述上下文变分自动编码器的构建包括如下步骤：c
‑
1)构建特征提取网络、分布学习网络以及图像重建网络；c

【专利技术属性】
技术研发人员：牛四杰，周雪莹，李孝辉，高希占，董子昊，刘博文，张凤航，董吉文，
申请(专利权)人：济南大学，
类型：发明
国别省市：