System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及金融风险防控,具体涉及一种金融风险防控大模型数据处理方法及电子设备。
技术介绍
1、随着移动支付的普及和金融科技的快速发展,金融行业正逐渐向数字化、智能化转型。移动支付平台已经成为了人们日常生活中不可或缺的支付方式之一,同时也积累了大量的交易数据。这些交易数据蕴含着丰富的信息,包括用户的消费习惯、行为特征以及风险偏好等,为金融机构提供了宝贵的数据资源。
2、当前金融行业利用移动支付平台的客户交易信息来进行风险分析和客户画像时,一种较为有效的手段是构建大数据模型,通过利用移动支付平台的客户交易信息构建的大数据模型,来进行风险分析和客户画像。而大数据模型在训练时,数据集中的噪声和异常值可能导致模型产生过拟合现象,即模型在训练集上表现良好,但在新数据上的泛化能力较差。通过清洗数据,可以有效减少噪声和异常值的影响,降低模型过拟合的风险,使模型更具泛化能力。故将数据集中的异常数据进行剔除是构建模型时的重要处理步骤。
3、目前,常用的对金融数据进行异常值检测方法,往往通过所有金融数据的统计数据进行分析和对比从而进行异常值的识别,这种方式存在忽略不同客户群体之间的差异性的问题,其同样的数据在不同的客户群体之中的异常表现是不足的,因此会导致异常值的检测精度不足,影响了数据清洗的效果和模型训练的准确性。
技术实现思路
1、为了解决通过所有金融数据的统计数据进行分析和对比,存在进行异常值的识别时检测精度较低的技术问题,本专利技术的目的在于提供一种金融风险防控大模型
2、第一方面,本专利技术实施例提供了一种金融风险防控大模型数据处理方法,该方法包括:
3、采集各客户的多维金融数据,对应的构建原始数据矩阵;
4、获取原始数据矩阵对应的白化矩阵;对所述白化矩阵进行迭代分解,得到每次迭代的方向向量以及对应方向向量下白化矩阵的投影矩阵;
5、对投影矩阵进行元素分析,得到投影矩阵的数据峭度;分析投影矩阵中数据的聚集性和所述数据峭度,确定每次迭代的方向向量下的客户群体表征度;
6、基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量;基于所述主方向向量,对客户进行聚类,得到至少两个聚类客户群体;对所述聚类客户群体的多维金融数据进行异常值检测,将异常金融数据从数据集中进行剔除。
7、在上述方案中,首先构建多个客户的多维金融数据所对应的原始数据矩阵,并对原始数据矩阵进行简化,得到白化矩阵,对白化矩阵进行方向向量分析,得到每次迭代的方向向量以及对应的投影矩阵,方向向量能够反映不同客户群体的表现,且投影矩阵能够反映白化矩阵中数据的分布特征,便于后续对客户群体的表现评估。由于不同客户群体对不同金融数据的敏感程度不同,故首先分析反映客户群体表征程度的方向向量的分布特征,以得到不同方向向量下的客户群体表征度,并基于该客户群体表征度筛选出能够更好反映客户群体特征的主方向向量,以主方向向量为基准,实现对客户的群体分类,最后对不同类别的聚类客户群体分别进行异常值检测,并完成将异常金融数据从数据集中进行剔除的目的。相较于对所有金融数据的统计数据进行分析和对比,从而进行异常值的识别的方法,本专利技术实施例通过对客户进行群体分类,充分根据不同客户对金融数据的感知差异,对不同的客户群体分别进行异常检测,可以帮助识别出那些在特定群体中表现异常的个体或数据点,提高了进行异常值的识别时检测精度。
8、进一步地,所述对所述白化矩阵进行迭代分解,得到每次迭代的方向向量以及对应方向向量下白化矩阵的投影矩阵,包括:
9、对所述白化矩阵通过ica算法进行主成分的迭代分解,得到每次迭代的方向向量;并将白化矩阵在每次迭代的方向向量上进行投影,得到对应方向向量下白化矩阵的投影矩阵。
10、在上述方案中,通过使用ica算法对多维数据进行主成分分析,能够更准确地反映不同客户群体的表现。ica算法可以有效地识别数据中的独立成分,从而揭示出隐藏在多维数据背后的潜在结构和关系。
11、进一步地,所述对投影矩阵进行元素分析,得到投影矩阵的数据峭度,包括:
12、获取每次迭代的方向向量下白化矩阵的投影矩阵中所有数据元素;
13、比较所述数据元素与数据基线的差异波动,确定投影矩阵的数据峭度。
14、在上述方案中,通过数据峭度可以反映白化矩阵的投影矩阵中所有数据元素分布的峰度和尖度程度。数据峭度越大时,则反映当前方向向量下投影矩阵中元素数据的峰度和尖度越大,则对应的数据相对越聚集,其反映一个投影矩阵表征一种客户群体的可能性越大。
15、进一步地,所述分析投影矩阵中数据的聚集性和所述数据峭度,确定每次迭代的方向向量下的客户群体表征度,包括:
16、根据投影矩阵中数据元素的聚集性,确定投影矩阵的聚集分布值;结合投影矩阵的所述聚集分布值和所述数据峭度,确定每次迭代的方向向量下白化矩阵的客户群体表征度;其中,所述聚集分布值和所述数据峭度,均与所述客户群体表征度呈正相关关系。
17、进一步地,所述基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量,包括:
18、在ica算法的迭代分解过程中,对于每个迭代过程中的方向向量,将客户群体表征度大于预设表征阈值时所对应的方向向量,作为主方向向量。
19、在上述方案中,通过对方向向量进行筛选,得到主方向向量,其主方向向量更能够反映一种客户群体。有助于确保后续基于主方向向量划分时,客户群体划分更加合理和准确,从而提高了后续分析的可靠性和有效性。
20、进一步地,所述基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量之后,还包括:
21、在ica算法的迭代分解过程中,当方向向量小于预设表征阈值时,停止ica算法的迭代,并获取当前的迭代次数。
22、进一步地,所述基于所述主方向向量,对客户进行聚类,得到至少两个聚类客户群体,包括:
23、分析不同客户的多维金融数据与各主方向向量的离散情况,确定距离度量;
24、基于所述客户群体表征度,对所述距离度量进行加权,得到加权度量值;
25、基于所述加权度量值,对不同客户进行聚类,得到至少两个聚类客户群体。
26、在上述方案中,将得到的主要客户群体用于聚类,也即将ica算法得到的主要方向向量用于聚类,可以更好地划分客户群体,使得聚类结果更加优异。聚类可以有效地将数据点分配到不同的簇中,并且能够处理大规模数据集,因此能够为客户群体提供更合适的分组方式。
27、进一步地,所述对所述聚类客户群体的多维金融数据进行异常值检测,将异常金融数据从数据集中进行剔除,包括:
28、对于聚类客户群体内各客户的多维金融数据,通过z-score算法进行异常值检测,得到异常值;将异常值对应的多维金融数据作为异常金融数据,并从数据集中剔除。
29、在本文档来自技高网...
【技术保护点】
1.一种金融风险防控大模型数据处理方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述对所述白化矩阵进行迭代分解,得到每次迭代的方向向量以及对应方向向量下白化矩阵的投影矩阵,包括:
3.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述对投影矩阵进行元素分析,得到投影矩阵的数据峭度,包括:
4.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述分析投影矩阵中数据的聚集性和所述数据峭度,确定每次迭代的方向向量下的客户群体表征度,包括:
5.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量,包括:
6.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量之后,还包括:
7.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述基于所述主方向向量,对客户进行
8.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述对所述聚类客户群体的多维金融数据进行异常值检测,将异常金融数据从数据集中进行剔除,包括:
9.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述获取原始数据矩阵对应的白化矩阵,包括:
10.一种金融风险防控大模型数据处理电子设备,其特征在于,该电子设备包括处理器,其中,处理器执行以下模块:
...【技术特征摘要】
1.一种金融风险防控大模型数据处理方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述对所述白化矩阵进行迭代分解,得到每次迭代的方向向量以及对应方向向量下白化矩阵的投影矩阵,包括:
3.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述对投影矩阵进行元素分析,得到投影矩阵的数据峭度,包括:
4.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述分析投影矩阵中数据的聚集性和所述数据峭度,确定每次迭代的方向向量下的客户群体表征度,包括:
5.根据权利要求1所述的金融风险防控大模型数据处理方法,其特征在于,所述基于所述客户群体表征度,筛选出部分方向向量,作为主方向向量,包括:
【专利技术属性】
技术研发人员:肖铧,
申请(专利权)人:湖南高阳通联信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。