System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于异常数据检测,具体涉及一种异常数据检测模型构建方法、异常数据检测系统与方法。
技术介绍
1、随着信息化的发展,对信息安全保护的需求逐渐上升。信息数据的异常检测越来越重要。在实际应用中,异常检测是许多领域的重要研究内容。异常数据的存在不仅会对安全性造成影响也可能会导致模型性能下降,进而影响到实际应用的效果和安全。在医学、金融、制造业、交通运输等多个领域都有大量异常数据检测的实际应用,但是,现实应用中异常数据样本数量极少,由于人工标注成本较高,大量的实际数据标签并不完整。在带标签的异常数据样本较少的情况下,现有技术难以学习到样本数据的特征。
技术实现思路
1、本专利技术的目的在于解决上述现有技术中存在的难题,提供一种异常数据检测模型构建方法,能够在异常数据样本数量较少的情况下进行训练。
2、本专利技术是通过以下技术方案实现的:
3、一种异常数据检测模型构建方法,包括以下步骤:
4、将带有异常标签的m维的异常数据作为训练样本;
5、训练样本输入自动编码器中,自动编码器编码后得到降维的潜在表征数据,潜在表征数据经过解码后,得到m维的重构数据,并采用损失函数最小化原则来迭代更新自动编码器的模型参数;
6、所述损失函数由两部分拼接而成:重构数据与其训练样本之间的重构误差作为损失函数的第一部分;潜在表征的核密度估计归一化后取对数作为损失函数的第二部分。
7、进一步的,所述核密度估计公式如下:
8、<
...【技术保护点】
1.一种异常数据检测模型构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的异常数据检测模型构建方法,其特征在于,所述核密度估计公式如下:
3.根据权利要求1或2所述的异常数据检测模型构建方法,其特征在于,当潜在表征数据分布中具有较明显尖峰或波谷时,选择矩形核函数作为核密度估计的核函数;当需要估计潜在表征数据集的整体趋势时,选择三角核函数作为核密度估计的核函数;当需要对潜在表征数据集进行边缘估计时,选择埃帕内奇科夫核函数作为核密度估计的核函数。
4.根据权利要求1或2所述的异常数据检测模型构建方法,其特征在于,选择高斯核函数作为核密度估计的核函数,所述核密度估计公式如下:
5.根据权利要求1所述的异常数据检测模型构建方法,其特征在于,在计重构误差时,采用的计算方法包括计算均方误差、均绝对误差或相减后的绝对值。
6.一种异常数据检测系统,其特征在于:包括异常数据检测模型,所述异常数据检测模型为通过如权利要求1~5任一所述异常数据检测模型构建方法训练得到的自动编码器。
7.一种异常数据检测方法,其特征在
...【技术特征摘要】
1.一种异常数据检测模型构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的异常数据检测模型构建方法,其特征在于,所述核密度估计公式如下:
3.根据权利要求1或2所述的异常数据检测模型构建方法,其特征在于,当潜在表征数据分布中具有较明显尖峰或波谷时,选择矩形核函数作为核密度估计的核函数;当需要估计潜在表征数据集的整体趋势时,选择三角核函数作为核密度估计的核函数;当需要对潜在表征数据集进行边缘估计时,选择埃帕内奇科夫核函数作为核密度估计的核函数。
4.根据权利要求1或2所述的异常数据检测模型构建方法,其特征在于,选择高斯核函数...
【专利技术属性】
技术研发人员:龙春,李畅,赵静,杜冠瑶,杨悦,高莹,韩奎宇,王耀杰,郭勇杰,
申请(专利权)人:中国科学院计算机网络信息中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。