System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置及设备制造方法及图纸_技高网

数据处理方法、装置及设备制造方法及图纸

技术编号:42087953 阅读:7 留言:0更新日期:2024-07-19 17:03
本说明书实施例提供了一种数据处理方法、装置及设备,其中,方法包括:获取与历史业务数据对应的第一特征向量;通过业务处理模型的第一模块,对第一特征向量进行风险检测处理,确定历史业务数据对应的预测风险类型,并基于预测风险类型和目标风险类型,确定第一子损失值;基于预设分段维数,对第一特征向量进行表征分段映射处理得到的第二特征向量;基于第二特征向量,以及历史业务数据对应的目标风险类型,构建正样本对和负样本对,并基于业务处理模型的第二模块,以及正样本对和负样本对,确定第二子损失值;基于第一子损失值和第二子损失值,确定业务处理模型是否收敛,直到业务处理模型收敛,得到训练后的业务处理模型。

【技术实现步骤摘要】

本文件涉及数据处理,尤其涉及一种数据处理方法、装置及设备


技术介绍

1、随着互联网行业的迅速发展,网络运营商为用户提供的业务服务的种类和数量越来越多,而如何对用户在使用业务服务时的业务数据进行处理,以更好的为用户提供业务服务(如准确的基于资源转移业务的业务数据,确定执行资源转移业务是否存在风险,以保护用户的隐私数据不被泄露等),成为网络运营商关注的焦点。

2、可以通过对比学习的方法,对基于由神经网络等算法构建的模型进行训练,以通过训练后的模型对业务数据进行处理,但是,在模型训练过程中,由于在某些维度上数据会出现坍塌表现,即表征向量会在张成一个低维子空间,而不是全表征空间,这就会导致模型训练效果差,业务数据的处理准确性低下,因此,需要一种能够提高模型训练效果以基于训练后的模型准确的进行业务处理的解决方案。


技术实现思路

1、本说明书实施例的目的是提供一种能够提高模型训练效果以基于训练后的模型准确的进行业务处理的解决方案。

2、为了实现上述技术方案,本说明书实施例是这样实现的:

3、第一方面,本说明书实施例提供的一种数据处理方法,包括:获取执行资源转移业务对应的历史业务数据,以及所述历史业务数据对应的目标风险类型,并对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量;基于所述第一特征向量,通过业务处理模型的第一模块,对所述第一特征向量进行风险检测处理,确定所述历史业务数据对应的预测风险类型,并基于所述预测风险类型和所述目标风险类型,确定第一子损失值;基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,所述预设分段维数为基于所述历史业务数据中每一维度数据的数据分布的坍塌情况确定;基于所述第二特征向量,以及所述历史业务数据对应的目标风险类型,构建正样本对和负样本对,并基于所述业务处理模型的第二模块,以及所述正样本对和负样本对,确定第二子损失值;基于所述第一子损失值和所述第二子损失值,确定所述业务处理模型是否收敛,若所述业务处理模型未收敛,则基于所述历史业务数据,以及所述目标风险类型,继续对所述业务处理模型进行训练,直到所述业务处理模型收敛,得到训练后的业务处理模型,所述训练后的业务处理模型用于对用户触发执行所述资源转移业务是否存在风险进行检测。

4、第二方面,本说明书实施例提供了一种数据处理装置,所述装置包括:第一获取模块,用于获取执行资源转移业务对应的历史业务数据,以及所述历史业务数据对应的目标风险类型,并对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量;第一确定模块,用于基于所述第一特征向量,通过业务处理模型的第一模块,对所述第一特征向量进行风险检测处理,确定所述历史业务数据对应的预测风险类型,并基于所述预测风险类型和所述目标风险类型,确定第一子损失值;第一映射模块,用于基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,所述预设分段维数为基于所述历史业务数据中每一维度数据的数据分布的坍塌情况确定;第二确定模块,用于基于所述第二特征向量,以及所述历史业务数据对应的目标风险类型,构建正样本对和负样本对,并基于所述业务处理模型的第二模块,以及所述正样本对和负样本对,确定第二子损失值;第一训练模块,用于基于所述第一子损失值和所述第二子损失值,确定所述业务处理模型是否收敛,若所述业务处理模型未收敛,则基于所述历史业务数据,以及所述目标风险类型,继续对所述业务处理模型进行训练,直到所述业务处理模型收敛,得到训练后的业务处理模型,所述训练后的业务处理模型用于对用户触发执行所述资源转移业务是否存在风险进行检测。

5、第三方面,本说明书实施例提供了一种数据处理设备,所述数据处理设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取与目标用户触发执行目标业务对应的图片凭证数据;获取执行资源转移业务对应的历史业务数据,以及所述历史业务数据对应的目标风险类型,并对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量;基于所述第一特征向量,通过业务处理模型的第一模块,对所述第一特征向量进行风险检测处理,确定所述历史业务数据对应的预测风险类型,并基于所述预测风险类型和所述目标风险类型,确定第一子损失值;基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,所述预设分段维数为基于所述历史业务数据中每一维度数据的数据分布的坍塌情况确定;基于所述第二特征向量,以及所述历史业务数据对应的目标风险类型,构建正样本对和负样本对,并基于所述业务处理模型的第二模块,以及所述正样本对和负样本对,确定第二子损失值;基于所述第一子损失值和所述第二子损失值,确定所述业务处理模型是否收敛,若所述业务处理模型未收敛,则基于所述历史业务数据,以及所述目标风险类型,继续对所述业务处理模型进行训练,直到所述业务处理模型收敛,得到训练后的业务处理模型,所述训练后的业务处理模型用于对用户触发执行所述资源转移业务是否存在风险进行检测。

6、第四方面,本说明书实施例提供一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:获取执行资源转移业务对应的历史业务数据,以及所述历史业务数据对应的目标风险类型,并对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量;基于所述第一特征向量,通过业务处理模型的第一模块,对所述第一特征向量进行风险检测处理,确定所述历史业务数据对应的预测风险类型,并基于所述预测风险类型和所述目标风险类型,确定第一子损失值;基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,所述预设分段维数为基于所述历史业务数据中每一维度数据的数据分布的坍塌情况确定;基于所述第二特征向量,以及所述历史业务数据对应的目标风险类型,构建正样本对和负样本对,并基于所述业务处理模型的第二模块,以及所述正样本对和负样本对,确定第二子损失值;基于所述第一子损失值和所述第二子损失值,确定所述业务处理模型是否收敛,若所述业务处理模型未收敛,则基于所述历史业务数据,以及所述目标风险类型,继续对所述业务处理模型进行训练,直到所述业务处理模型收敛,得到训练后的业务处理模型,所述训练后的业务处理模型用于对用户触发执行所述资源转移业务是否存在风险进行检测。

7、第五方面,本说明书实施例提供的一种数据处理方法,包括:获取执行目标业务对应的历史业务数据,以及所述历史业务数据对应的目标业务处理结果,并对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量;基于所述第一特征向量,通过业务处理模型的第一模块,对所述第一特征向量进行业务数据处理,确定所述历史业务数据对应的预测业务处理结果,并基于所述预测业务处理结果和所述目标业务处理结果,确定第一子损失值;基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,所述预设分本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,所述历史业务数据包含多个不同数据类型的资源转移数据,所述对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量,包括:

3.根据权利要求2所述的方法,所述基于与所述数据类型对应的特征提取算法,分别对所述历史业务数据中每个数据类型的数据进行特征提取处理,确定与所述历史业务数据对应的第一特征向量,包括:

4.根据权利要求3所述的方法,所述基于所述第三特征向量,通过预先训练的特征提取模型对所述第三特征向量进行特征提取处理,得到所述第一特征向量,包括:

5.根据权利要求1所述的方法,所述基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,包括:

6.根据权利要求5所述的方法,所述业务处理模型还包括特征提取模块,所述特征提取模块为基于多头自注意力机制的深度学习算法构建,所述对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量,包括:

7.根据权利要求2所述的方法,所述与所述数据类型对应的特征提取算法包括与类别型对应的第一特征提取算法、与数值型对应的第二特征提取算法以及与二进制型对应的第三特征提取算法,所述第一特征提取算法为对数据名称和数据值进行拼接处理,并对拼接处理得到的数据进行特征提取处理的算法,所述第二特征提取算法为对所述数据名称进行特征提取处理,在对特征提取处理得到的结果与所述数据值的乘积进行特征提取出处理的算法,所述第三特征提取算法为对所述数据名称和所述数据值之间的乘积进行特征提取处理的算法。

8.根据权利要求7所述的方法,所述方法还包括:

9.一种数据处理方法,包括:

10.一种数据处理装置,包括:

11.一种数据处理装置,包括:

12.一种数据处理设备,所述数据处理设备包括:

13.一种数据处理设备,所述数据处理设备包括:

...

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,所述历史业务数据包含多个不同数据类型的资源转移数据,所述对所述历史业务数据进行特征提取处理,得到与所述历史业务数据对应的第一特征向量,包括:

3.根据权利要求2所述的方法,所述基于与所述数据类型对应的特征提取算法,分别对所述历史业务数据中每个数据类型的数据进行特征提取处理,确定与所述历史业务数据对应的第一特征向量,包括:

4.根据权利要求3所述的方法,所述基于所述第三特征向量,通过预先训练的特征提取模型对所述第三特征向量进行特征提取处理,得到所述第一特征向量,包括:

5.根据权利要求1所述的方法,所述基于预设分段维数,对所述第一特征向量进行表征分段映射处理得到的第二特征向量,包括:

6.根据权利要求5所述的方法,所述业务处理模型还包括特征提取模块,所述特征提取模块为基于多头自注意力机制的深度学习算法构建,所述对所述历史业务数据进行特...

【专利技术属性】
技术研发人员:刘芳卿
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1