System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据生成方法、数据检测方法、装置及相关设备制造方法及图纸_技高网

数据生成方法、数据检测方法、装置及相关设备制造方法及图纸

技术编号:43329494 阅读:14 留言:0更新日期:2024-11-15 20:27
本公开提出了一种数据生成方法、数据检测方法、装置及相关设备,其中,所述数据生成方法包括:获取至少两个初始训练数据,所述初始训练数据中包括正常查询数据和异常查询数据;基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数;所述相关性矩阵用于指示不同的所述初始训练数据之间的相关性;利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据;利用稳定扩散模型扩散所述预处理训练数据,得到目标训练数据。

【技术实现步骤摘要】

本公开涉及数据检测,尤其涉及一种数据生成方法、数据检测方法、装置及相关设备


技术介绍

1、相关技术中,通常利用分类模型检测查询数据是否为异常数据,比如入侵数据等。但是,对分类模型进行训练时,由于异常数据的数据量较小,因此导致训练集中的异常数据和正常数据不平衡,进而导致分类模型的检测准确率低。


技术实现思路

1、本公开提供一种数据生成方法、数据检测方法、装置及相关设备,以解决相关技术中的问题。

2、本公开的第一方面实施例提出了一种数据生成方法,该方法包括:

3、获取至少两个初始训练数据,所述初始训练数据中包括正常查询数据和异常查询数据;

4、基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数;所述相关性矩阵用于指示不同的所述初始训练数据之间的相关性;

5、利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据;

6、利用稳定扩散模型扩散所述预处理训练数据,得到目标训练数据。

7、在一实施例中,所述基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数,包括:

8、获取每个所述初始训练数据的查询向量、键向量及值向量;

9、利用预设查询向量权重、键向量权重及值向量权重,分别对所述查询向量、所述键向量及所述值向量进行加权处理,得到每个所述初始训练数据加权后的所述查询向量、所述键向量及所述值向量;

10、将每个所述初始训练数据加权后的所述查询向量及所述键向量与其他所述初始训练数据加权后的所述查询向量及所述键向量相乘,得到每个所述初始训练数据与其他所述初始训练数据之间的相关性矩阵;

11、确定所述相关性矩阵中,与其他所述初始训练数据对应的元素为每个所述初始训练数据相对于其他所述初始训练数据的注意力参数。

12、在一实施例中,所述利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据,包括:

13、将每个所述初始训练数据相对于其他所述初始训练数据的注意力参数作和,得到第一和值;

14、对所述第一和值进行softmax处理或relu处理,得到预处理后的第一和值;

15、将所述预处理后的第一和值与对应的所述初始训练数据的所述值向量相乘,得到每个所述初始训练数据对应的预处理数据。

16、本公开的第二方面实施例提出了一种数据检测方法,该方法包括:

17、获取待检测数据;

18、利用第一分类模型对所述待检测数据进行分类,得到所述待检测数据的分类结果;其中,所述第一分类模型指利用权利要求1至3中任一项所述的目标训练数据对第二分类模型进行训练得到的;所述分类结果为正常数据或异常数据。

19、在一实施例中,所述第一分类模型采用vagmm模型,所述vagmm模型的全连接层采用gru编码层。

20、本公开的第三方面实施例提出了一种数据生成装置,该装置包括:

21、初始训练数据获取单元,用于获取至少两个初始训练数据,所述初始训练数据中包括正常查询数据和异常查询数据;

22、注意力参数获取单元,用于基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数;所述相关性矩阵用于指示不同的所述初始训练数据之间的相关性;

23、预处理数据获取单元,用于利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据;

24、目标训练数据获取单元,用于利用稳定扩散模型扩散所述预处理训练数据,得到目标训练数据

25、本公开的第四方面实施例提出了一种数据检测装置,该装置包括:

26、待检测数据获取单元,用于获取待检测数据;

27、分类结果获取单元,用于利用第一分类模型对所述待检测数据进行分类,得到所述待检测数据的分类结果;其中,所述第一分类模型指利用权利要求1至3中任一项所述的目标训练数据对第二分类模型进行训练得到的;所述分类结果为正常数据或异常数据。

28、本公开的第五方面实施例提出了一种电子设备,包括:

29、至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开第一方面实施例或本公开第二方面实施例中描述的方法。

30、本公开的第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开第一方面实施例或本公开第二方面实施例中描述的方法。

31、本公开的第七方面实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开第一方面实施例或本公开第二方面实施例中描述的方法。

32、综上,本公开提出了一种数据生成方法、数据检测方法、装置及相关设备,其中,所述数据生成方法包括:获取至少两个初始训练数据,所述初始训练数据中包括正常查询数据和异常查询数据;基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数;所述相关性矩阵用于指示不同的所述初始训练数据之间的相关性;利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据;利用稳定扩散模型扩散所述预处理训练数据,得到目标训练数据。

33、本公开提供的方案,通过注意力参数能够从初始训练数据中选择出更加重要的训练数据,进而利用稳定扩散模型对训练数据进行扩散,能够得到异常数据和正常数据更加均衡的训练数据,从而利用更加均衡的训练数据对分类模型进行训练,能够有效的提升分类模型的检测准确率。

34、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

本文档来自技高网...

【技术保护点】

1.一种数据生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据,包括:

4.一种数据检测方法,其特征在于,包括:

5.根据权利要求4所述的方法,其特征在于,所述第一分类模型采用VAGMM模型,所述VAGMM模型的全连接层采用GRU编码层。

6.一种数据生成装置,其特征在于,包括:

7.一种数据检测装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至3或权利要求4至5中任一项所述的方法。

10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至3或权利要求4至5中任一项所述的方法。

...

【技术特征摘要】

1.一种数据生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于不同所述初始训练数据之间的相关性矩阵,获取每个所述初始训练数据相对于其他所述初始训练数据的注意力参数,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用每个所述初始训练数据相对于其他所述初始训练数据的注意力参数对每个对应的所述初始训练数据进行预处理,得到每个所述初始训练数据对应的预处理数据,包括:

4.一种数据检测方法,其特征在于,包括:

5.根据权利要求4所述的方法,其特征在于,所述第一分类模...

【专利技术属性】
技术研发人员:赵敏汪涵潇葛敏汤煜曾强
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1