一种图像标定错误检测方法及装置制造方法及图纸

本发明专利技术公开了一种图像标定错误检测方法及装置，方法包括：建立图像数据集，利用所述图像数据集对无监督异常检测神经网络进行训练，将训练过程中将产生的隐层特征进行重构，得到隐层特征重构层；将所述隐层特征重构层嵌入所述无监督异常检测神经网络，然后对待检测图像数据进行异常检测，根据异常得分函数，判别待检测图像数据是否标定错误；装置包括：依次连接的基干网络模块、隐层特征重构模块和异常得分模块；本发明专利技术能够扩大正常样本与异常样本之间的异常得分差距，提高异常检测性能。

【技术实现步骤摘要】
一种图像标定错误检测方法及装置
本专利技术涉及机器学习
，尤其是涉及一种图像标定错误检测方法及装置。
技术介绍
在图像标定过程中，难免由于标定人员粗心等因素而出现错误标定。人工检测错误标定耗时耗力，无监督异常检测能够减少人力资源投入。对于无监督异常检测任务，目前通常采用表征学习的方法，根据训练数据的类型，设计相应的无监督表征学习任务，最后通过异常和正常样本的训练速度或者训练难度之间的差异，以此检测出异常样本。但是，目前的无监督异常检测方法存在以下缺陷：一方面，因为无监督的设定以及难以控制深度学习网络模型的训练程度，该设定下网络模型在训练过程并不能分辨异常样本，会同时尽力拟合正常和异常样本，导致随着训练过程的进行，两类样本之间的重构误差会逐渐减少，进而导致异常检测的性能也随之下降，如图2所示；另一方面，目前无监督异常检测主要是基于自动编码器的或者是基于几何变换的方法，两类方法均有优缺点，前者简单实现但性能相对较差，后者性能好但不能用于非图像数据，现有方法均只能够支持某一类方法，不能够同时支持前者和后者，具有相对较差的通用性。因此，亟需设计一种能够克服上述缺陷的技术方案。
技术实现思路
为解决现有技术的不足，实现扩大正常样本与异常样本之间的异常得分差距，提高异常检测性能，以及提高通用性的目的，本专利技术采用如下的技术方案：一种图像标定错误检测方法，包括如下步骤：S1，训练阶段，利用图像数据集，对无监督异常检测神经网络进行训练：其中，ϕ(·;θ)表示特征提取器，映射输入数据xi∈RD到对应的隐层特征zi∈Rd，xi表示输入的第i个图像，x表示xi的集合，θ表示特征提取器的参数，ψ(·;ω)表示辅助任务，以第i个图像的隐层特征zi作为输入，并约束隐层特征zi学习关键特征信息，z表示zi的集合，ω表示辅助任务的参数，Lori(·)表示基干网络附带的损失函数，θe*表示训练结束时对应的特征提取器的参数，ω*表示训练结束时对应的辅助任务的参数，f(·)表示异常得分函数，用于计算输入图像的异常程度sx，ϕθ*表示训练结束时对应的特征提取器的参数以及特征提取器的组合，ψω*表示训练结束时对应的辅助任务的参数以及辅助任务的组合；将隐层特征zi进行重构，得到重构的隐层特征zi’，不改变无监督异常检测神经网络结构，仅通过反向传播约束隐层特征的学习，包括如下步骤：S11，利用线性变换矩阵A∈Rk×d，将隐层特征z映射到k维的空间；S12，再通过矩阵A的转置，映射回原来的特征空间，生成重构的隐层特征z’=ATAz；S2，测试阶段，将重构的隐层特征z’，嵌入异常得分函数，替换原有的隐层特征z，对于正常样本的重构隐层特征z′=ATAz将靠近对应的隐层特征z，而异常样本相反，因此，在得分函数中用z′替代z，这样正常和异常样本的得分差距将会进一步扩大，有助于检测异常样本，再对待检测数据进行异常检测，得到新的异常得分：当异常得分超过阈值，z’表示zi’的集合，则待检测数据标定错误。进一步地，所述无监督异常检测神经网络为自动编码器，包括编码器ϕe(·)和解码器ψd(·)，编码器ϕe(·)用于将原始图像数据映射到低维特征空间，解码器ψd(·)以低维特征作为输入，重构出原始图像数据，通过重构误差训练神经网络；S1，训练阶段，损失函数，为自动编码器的损失函数，为隐层特征重构的损失函数，为正常样本找到一个低秩隐层特征子空间，因为ATA趋向于一个正交映射，因此该损失函数约束隐层特征到一个低秩子空间中：其中，xi表示输入的第i张图像，表示第i张图像的隐层特征，θe表示编码器的模型参数，ωd表示解码器的模型参数，表示自动编码器重构出的输入图像数据，AT表示矩阵A的转置，||·||F表示Frobenius范数，λ1表示鲁棒子空间恢复损失的权重，λ2表示投影损失的权重，Ik表示单位矩阵，公式的后半部分约束其正交性，因为其矩阵乘积为单位矩阵，而前半部分约束其为投影。进一步地，所述S2，测试阶段，对每个图像数据，通过训练后的自动编码器重构，以重构误差作为异常得分，根据异常得分判断异常图像：。进一步地，将异常得分中的z替换为ATAz，得到新的异常得分，扩大正常和异常样本之间的异常得分差距，提升异常检测性能。进一步地，所述无监督异常检测神经网络为基于几何变换的异常检测方法，训练阶段的损失函数：其中，ϕf(Tm(·);θf)表示一个像深度残差网络或者宽度残差网络图像分类模型，Tm(·)表示几何变换，θf表示模型整体参数，λ1表示鲁棒子空间恢复损失的权重，λ2表示投影损失的权重，Id表示单位矩阵，M表示几何变换的种类，通过一系列的几何变换，在变换扩展后的新数据集上训练图像分类模型，用于判断经过何种变换处理，与AE-LFR相同，LFR层同样约束了隐层特征的学习，但与之不同的是，GT-LFR方法中扩展后的图像中包含了M个互不相交的子集，也就是很难找到一个低秩子空间来覆盖正常样本，为了解决这个问题，我们期望为每种几何变换找到互不相同的特征子空间，因此，我们为每个变换Tm分配一个线性变换矩阵A(m)∈Rk×d，以对应特征子空间。进一步地，所述S2的测试阶段，将测试图像经过M种几何变换，异常得分为M张扩增图像经过图像分类模型分类输出的概率平均值：)其中，ϕf(Tm(·);θf)表示一个像深度残差网络（ResNet）或者宽度残差网络（WideResNet，WRN）的图像分类模型，用于提取经过几何变换Tm预处理的输入图像的隐层特征，ψg(·;ωg)表示多分类器，CE表示交叉熵损失函数，ωg表示多分类器的模型参数，PTm(·;θf*,ωg*)表示ψg在类别Tm的softmax输出，θf*表示训练结束时对应的图像分类模型的参数，ωg*表示训练结束时对应的多分类器的模型参数。进一步地，将得异常分)中的zTm替换为，得到新的异常得分。进一步地，所述基干网络模块与隐层特征重构模块连接，隐层特征重构模块与异常得分模块连接；所述隐层特征重构模块，在基干网络模块的训练阶段，不改变基干网络模块结构，仅通过反向传播约束隐层特征的学习，用于基干网络模块的训练阶段，利用图像数据集对基干网络模块进行训练，对基干网络模块产生的隐层特征zi进行重构，得到重构的隐层特征z′=ATAz；所述异常得分模块，在基干网络模块的测试阶段，将重构的隐层特征嵌入基干网络模块，替换原有的隐层特征，再对待检测数据进行异常检测，将得到异常得分与阈值比较，判断待检测数据是否标定错误。进一步地，所述基干网络模块，包括自动编码器，利用图像数据集对自动编码器进行训练，包括编码器本文档来自技高网...

【技术保护点】
1.一种图像标定错误检测方法，其特征在于包括如下步骤：/nS1，训练阶段，利用图像数据集，对无监督异常检测神经网络进行训练：/n

【技术特征摘要】
1.一种图像标定错误检测方法，其特征在于包括如下步骤：
S1，训练阶段，利用图像数据集，对无监督异常检测神经网络进行训练：









其中，ϕ(·;θ)表示特征提取器，映射输入数据xi∈RD到对应的隐层特征zi∈Rd，xi表示输入的第i个图像，x表示xi的集合，θ表示特征提取器的参数，ψ(·;ω)表示辅助任务，以第i个图像的隐层特征zi作为输入，并约束隐层特征zi学习关键特征信息，z表示zi的集合，ω表示辅助任务的参数，Lori(·)表示基干网络附带的损失函数，θe*表示训练结束时对应的特征提取器的参数，ω*表示训练结束时对应的辅助任务的参数，f(·)表示异常得分函数，用于计算输入图像的异常程度sx，ϕθ*表示训练结束时对应的特征提取器的参数以及特征提取器的组合，ψω*表示训练结束时对应的辅助任务的参数以及辅助任务的组合；
将隐层特征zi进行重构，得到重构的隐层特征zi’，不改变无监督异常检测神经网络结构，仅通过反向传播约束隐层特征的学习，包括如下步骤：
S11，利用线性变换矩阵A∈Rk×d，将隐层特征z映射到k维的空间；
S12，再通过矩阵A的转置，映射回原来的特征空间，生成重构的隐层特征z’=ATAz；
S2，测试阶段，将重构的隐层特征z’，嵌入异常得分函数，替换原有的隐层特征z，再对待检测数据进行异常检测，得到新的异常得分：



当异常得分超过阈值，z’表示zi’的集合，则待检测数据标定错误。


2.根据权利要求1所述的一种图像标定错误检测方法，其特征在于所述无监督异常检测神经网络为自动编码器，包括编码器ϕe(·)和解码器ψd(·)，编码器ϕe(·)用于将原始图像数据映射到低维特征空间，解码器ψd(·)以低维特征作为输入，重构出原始图像数据，通过重构误差训练神经网络；
S1，训练阶段，损失函数，为自动编码
器的损失函数，为隐层特征重构的损失函数：












其中，xi表示输入的第i张图像，zi表示第i张图像的隐层特征，θe表示编码器的模型参
数，ωd表示解码器的模型参数，表示自动编码器重构出的输入图像数据，AT表示矩阵A的
转置，||·||F表示范数，λ1表示鲁棒子空间恢复损失的权重，λ2表示投影损失的权重，Ik表
示单位矩阵。


3.根据权利要求2所述的一种图像标定错误检测方法，其特征在于所述S2，测试阶段，对每个图像数据，通过训练后的自动编码器重构，以重构误差作为异常得分，根据异常得分判断异常图像：













。


4.根据权利要求3所述的一种图像标定错误检测方法，其特征在于将异常得分sx=||x-ψd(z;ωd)||2中的z替换为ATAz，得到新的异常得分。


5.根据权利要求1所述的一种图像标定错误检测方法，其特征在于所述无监督异常检测神经网络为基于几何变换的异常检测方法，训练阶段的损失函数：






其中，ϕf(Tm(·);θf)表示图像分类模型，Tm(·)表示几何变换，θf表示模型整体参数，λ1表示鲁棒子空间恢复损失的权重，λ2表示投影损失的权重，Id表示单位矩阵，M表示几何...

【专利技术属性】
技术研发人员：周水庚，林景煌，许燚，何轶凡，关佶红，张吉，
申请(专利权)人：之江实验室，复旦大学，
类型：发明
国别省市：浙江;33