基于AI的报送数据校验方法、系统及存储介质技术方案

本发明专利技术涉及数据分析技术领域，具体为一种基于AI的报送数据校验方法、系统及存储介质，包括：S1、获取不同数据源的数据，对数据进行关联，建立数据之间的关联关系，并整合为数据集；S2、根据数据集中数据的关联关系，自动构造特征；S3、在若干业务风险识别模型中，将每个风险场景下的特征输入备选模型，筛选出表现最优的备选模型作为该风险场景下最优的预测模型，并在若干风险场景下采用其对应的预测模型进行异常分析，生成异常分析结果；S4、根据异常分析结果，进行异常提醒。本方案可以从数据中学习，自动发现数据异常，多维度探查隐藏风险模式，提高异常分析结果的准确性，降低对人工及其业务知识经验的依赖，降低合规成本。降低合规成本。降低合规成本。

【技术实现步骤摘要】
基于AI的报送数据校验方法、系统及存储介质


[0001]本专利技术涉及数据分析
，具体为一种基于AI的报送数据校验方法、系统及存储介质。

技术介绍

[0002]随着各监管机构对金融、保险等相关行业监督管理力度越来越大，相关行业需要通过银行、互联网金融及其他支付机构向各监管机构数据采集平台报送数据；报送的数据要保障其为合规数据，避免存在合规风险，因此报送数据的数据质量非常重要，需要进行报送数据校验，以及时发现数据异常和合规问题。
[0003]目前，数据报送的数据质量校验主要基于简单的规则模型，如根据监管政策构建相应的合规指标，再通过人工经验选择合适的规则模型，进行数据校验，这种方法能够发现基础的合规问题，但是对于一些隐藏的业务风险却难以识别，且依赖人工及其业务知识经验，合规成本高，并且规则模型具有滞后性，无法提前探查一些新的业务风险点，从而给金融机构带来潜在损失。
[0004]因此现在急需一种基于AI的报送数据校验方法、系统及存储介质，能自动发现数据异常，提高异常分析结果的准确性，降低对人工及其业务知识经验的依赖，以降低合规成本。

技术实现思路

[0005]本专利技术的目的之一在于提供一种基于AI的报送数据校验方法，能自动发现数据异常，提高异常分析结果的准确性，降低对人工及其业务知识经验的依赖，以降低合规成本。
[0006]本专利技术提供的基础方案一：基于AI的报送数据校验方法，包括如下内容：
[0007]S1、获取不同数据源的数据，对数据进行关联，建立数据之间的关联关系，并整合为数据集；
[0008]S2、根据数据集中数据的关联关系，自动构造特征；
[0009]S3、在若干业务风险识别模型中，将每个风险场景下的特征输入备选模型，筛选出表现最优的备选模型作为该风险场景下最优的预测模型，并在若干风险场景下采用其对应的预测模型进行异常分析，生成异常分析结果；
[0010]S4、根据异常分析结果，进行异常提醒。
[0011]进一步，所述数据源中的数据为各类表；数据，包括：对公信贷业务借据表、对私信贷业务借据表、信贷合同表、对公信贷分户账、对私信贷分户账、对公活期存款分户账、对私活期存款分户账、对公定期存款分户账、对私定期存款分户账、票据票面信息表、对公客户信息表、个人基础信息表、存款信息相关表、贷款信息相关表和客户基础信息相关表。
[0012]进一步，所述特征，包括：基本特征和深度特征；
[0013]所述S2，包括：
[0014]各业务风险识别模型中对应的风险场景下设置对应的数据为主表；
[0015]根据数据集中数据的关联关系，通过定义的基础特征算子，自动构造基本特征；其中基本特征，包括：聚合特征和转换特征；
[0016]根据基础特征算子，通过定义的深度特征算子，构造深度特征；其中深度特征，包括：深度聚合特征和深度转换特征。
[0017]进一步，所述根据基础特征算子，构造深度特征，包括：
[0018]设置指定深度；指定深度为主表与具有关联关系的表之间的关联度；
[0019]根据指定深度，将与主表之间的关联度符合指定深度的表纳入到深度特征的构建中，构造深度特征。
[0020]进一步，还包括：设置时间窗口，在时间窗口内执行S2。
[0021]进一步，所述S3包括模型训练步骤和模型部署步骤；
[0022]模型训练步骤，包括：在若干业务风险识别模型中，对每个风险场景下采用对应的设有标签的特征，输入备选模型，筛选出表现最优的备选模型作为该风险场景下最优的预测模型；其中特征的标签，包括：正常标签和异常标签；
[0023]模型部署步骤：将筛选出的预测模型，应用于各风险场景下新数据的异常分析，生成异常分析结果。
[0024]进一步，所述模型训练步骤，具体包括：预先定义标签，确定数据的回溯时间；
[0025]根据回溯时间从构造的特征中获取对应时间切片的特征，形成特征集；
[0026]自动进行特征筛选及降维，获取特征子集；
[0027]筛选后的特征子集输入作为备选模型的异常检测模型集合中，筛选最优表现的异常检测模型作为预测模型；其中异常检测模型集合中包括若干异常检测模型；
[0028]所述模型部署步骤，具体包括：在若干风险场景下采用其对应的预测模型，计算各风险场景下的异常分；
[0029]对若干风险场景下的异常分进行加权汇总处理，获取总异常分；
[0030]将各风险场景下异常分和总异常分，打标到数据对应的用户ID上。
[0031]进一步，所述S4，包括：
[0032]对总异常分进行排序，生成异常分排序结果；
[0033]根据异常分排序结果，分析存在异常的数据及其明细信息，并分析数据异常的原因，进行异常提醒。
[0034]本专利技术的目的之二在于提供一种基于AI的报送数据校验系统，能自动发现数据异常，提高异常分析结果的准确性，降低对人工及其业务知识经验的依赖，以降低合规成本。
[0035]本专利技术提供基础方案二：基于AI的报送数据校验系统，包括：合规数据归集模块、自动特征工程模块、数据异常检测模块和合规预警模块；
[0036]合规数据归集模块，用于获取不同数据源的数据，对数据进行关联，建立数据之间的关联关系，并整合为数据集；
[0037]自动特征工程模块，用于根据数据集中数据的关联关系，自动构造特征；
[0038]数据异常检测模块，用于在若干业务风险识别模型中，将每个风险场景下的特征输入备选模型，筛选出表现最优的备选模型作为该风险场景下最优的预测模型，并在若干风险场景下采用其对应的预测模型进行异常分析，生成异常分析结果；
[0039]合规预警模块，用于根据异常分析结果，进行异常提醒。
[0040]本专利技术的目的之三在于提供一种基于AI的报送数据校验存储介质，能自动发现数据异常，提高异常分析结果的准确性，降低对人工及其业务知识经验的依赖，以降低合规成本。
[0041]本专利技术提供基础方案三：基于AI的报送数据校验存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述基于AI的报送数据校验方法的步骤。
[0042]本方案的有益效果：本方案通过获取收集不同来源(数据源)的数据(合规数据)，对数据进行关联与整合，根据整合后的数据集及其中数据的关联关系，自动构造基本特征和或深度特征，从而获取得到基于用户维度的单表/多表关联的聚合特征和转换特征，形成特征；后续对数据进行异常分析时，不是单纯就数据进行分析，而是结合不同的数据源中获取的数据及其关联关系进行的特征进行分析，从而从多角度多深度分析数据异常，提高数据异常分析的全面性和深度，有利于发现更多存在的数据异常；
[0043]针对不同风险场景下，自适应采用最优表现的异常检测模型作为当前风险场景下的预测模型，从而采用预测模型在该风险场景下进行异常分析，生成异常分析结果，能保障异常检测模型的分析精度和准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于AI的报送数据校验方法，其特征在于，包括如下内容：S1、获取不同数据源的数据，对数据进行关联，建立数据之间的关联关系，并整合为数据集；S2、根据数据集中数据的关联关系，自动构造特征；S3、在若干业务风险识别模型中，将每个风险场景下的特征输入备选模型，筛选出表现最优的备选模型作为该风险场景下最优的预测模型，并在若干风险场景下采用其对应的预测模型进行异常分析，生成异常分析结果；S4、根据异常分析结果，进行异常提醒。2.根据权利要求1所述的基于AI的报送数据校验方法，其特征在于，所述数据源中的数据为各类表；数据，包括：对公信贷业务借据表、对私信贷业务借据表、信贷合同表、对公信贷分户账、对私信贷分户账、对公活期存款分户账、对私活期存款分户账、对公定期存款分户账、对私定期存款分户账、票据票面信息表、对公客户信息表、个人基础信息表、存款信息相关表、贷款信息相关表和客户基础信息相关表。3.根据权利要求2所述的基于AI的报送数据校验方法，其特征在于，所述特征，包括：基本特征和深度特征；所述S2，包括：各业务风险识别模型中对应的风险场景下设置对应的数据为主表；根据数据集中数据的关联关系，通过定义的基础特征算子，自动构造基本特征；其中基本特征，包括：聚合特征和转换特征；根据基础特征算子，通过定义的深度特征算子，构造深度特征；其中深度特征，包括：深度聚合特征和深度转换特征。4.根据权利要求3所述的基于AI的报送数据校验方法，其特征在于，所述根据基础特征算子，构造深度特征，包括：设置指定深度；指定深度为主表与具有关联关系的表之间的关联度；根据指定深度，将与主表之间的关联度符合指定深度的表纳入到深度特征的构建中，构造深度特征。5.根据权利要求4所述的基于AI的报送数据校验方法，其特征在于，还包括：设置时间窗口，在时间窗口内执行S2。6.根据权利要求1所述的基于AI的报送数据校验方法，其特征在于，所述S3包括模型训练步骤和模型部署步骤；模型训练步骤，包括：在若干业务风险识别模型中，对每个风险场景下采用对应的设有标签的特征，输入备选模...

【专利技术属性】
技术研发人员：曾铮，唐延华，
申请(专利权)人：盛宝金融科技有限公司，
类型：发明
国别省市：