对业务数据进行管理和一体化建模的方法及系统技术方案

本发明专利技术提供了一种对业务数据进行管理和一体化建模的方法及系统。该方法包括：步骤S1：将业务数据以数据表的形式进行导入数据集管理页面；步骤S2：选择数据集管理页面中的某一数据表进行建模；步骤S3：查看各个模型是否运行成功，若运行成功，则模型管理列表“状态”列将变为“运行成功”，并查看该运行成功的模型对应的模型报告。本发明专利技术在面对复杂多样化的业务场景和客户需求时，通过一站式建模的方式，灵活建立模型，生成标签，无需定制化的重复开发就能直接使用模型生成的模型分标签，可以减少人力开发成本。建模过程中支持多种模型算法，包括随机森林、XGBoost、wide&deep、信贷评分、评分策略模型等。评分策略模型等。评分策略模型等。

【技术实现步骤摘要】
对业务数据进行管理和一体化建模的方法及系统


[0001]本专利技术涉及信息管理
，尤其涉及对业务数据进行管理和一体化建模的


技术介绍

[0002]随着信息技术发展和"互联网+"的深度渗透，公司商业模式和管控方式正发生着革命性变化，各大公司在此背景下不断推进数据管理和模型训练，各项目数量不断增多，系统间数据横向融合、纵向交互需求也在逐渐增加，银行、消费金融公司、小贷公司等金融机构在互联网业务量急剧上升的同时，各类金融机构迫切希望推动消费金融模式和互联网信贷风控决策过程能向更为智能化和自动化的方向进行升级演进。在此背景下，模型管理平台应运而生。
[0003]现有的模型管理平台具有以下技术缺陷：
[0004](1)业务流程项目与大数据项目交互强耦合；
[0005](2)模型运算周期长(跟集群资源服务有关)。

技术实现思路

[0006]为了克服上述技术缺陷，本专利技术的第一个方面提供一种对业务数据进行管理和一体化建模的方法，其包括以下步骤：
[0007]步骤S1：将业务数据以数据表的形式进行导入数据集管理页面；
[0008]步骤S2：选择数据集管理页面中的某一数据表进行建模，包括步骤：
[0009]步骤S2.1：数据准备：选择要使用的数据表；
[0010]步骤S2.2：模型设置：(1)选择模型类型，所述模型类型包括wide&deep模型、随机森林模型、评分策略模型、XGBoost模型和信贷评分模型；(2)进行变量的选择，将变量勾选为预测变量或目标变量；预测变量也称解释性变量或自变量，是指分析者主动操纵的变量；目标变量也称因变量，是由于自变量变动而引起变化的量；若无符合条件的目标变量，可点击进行目标区间的设置，包括自动配置与sql定义两种方式；然后还可以点击查看变量详情按钮，查看数值型变量的详细信息，包括变量名称、非空数量、均值、方差、最小值、最大值、25％、50％、75％、KS、PSI、IV值的结果，便于进行预测变量的选择；模型及变量选择完毕后即可进行下一步；
[0011]步骤S2.3：模型配置：(1)选择调优方式，包括智能调优与自定义两种；(2)进行参数设置，包括建模前置参数、模型参数、分数映射参数三类，每种均提供默认值；
[0012]步骤S2.4：生成结果并同步到模型管理页面：(1)数据预处理：对数据样本进行格式校验，剔除脏数据及不符合建模条件对特征列；同时根据参数将数据集划分为训练集、验证集、测试集，用于训练；(2)特征筛选：预处理后的样本通过KS值、PSI值、IV值、相关性等指标进行多轮筛选，保留最有效的特征，减少训练时间，提高模型效果；(3)模型训练：筛选后的样本集根据设置参数进行模型训练，并保存训练结果；(4)模型评估：计算各模型训练结
果的相关指标结果，并输出指标报告；
[0013]步骤S3：查看各个模型是否运行成功，若运行成功，则模型管理列表“状态”列将变为“运行成功”，并查看该运行成功的模型对应的模型报告。
[0014]进一步地，在步骤S3之后，进一步包括：对运行成功的模型进行预测和/或部署；
[0015]其中，模型预测包括步骤：(1)选择运行成功的模型，进行模型预测；(2)根据模板(模版：所提供的符合要求的文本文件，用户可直接使用我们所提供的模版文件填充内容或将自己将上传的文件改为与模版文件同格式，以免用户随意上传文件不符合格式要求解析失败，模版为用户所上传的文件提供格式参考。)与入模标签文件(入模标签文件：进行模型预测上传的文件中必须包含此模型建模时所包含的所有入模标签，否则将会导致预测失败，入模标签文件将包含所有入模标签字段，方便用户复制到上传的文件中，入模标签文件提供内容参考。)上传符合要求的数据文件，根据需求选择是否设置目标变量；(3)点击预测，输出样本对应的预测结果概率值，以及由该概率值结果评估得到的指标报告，预测结果的概率值用于映射为模型分；(模型分和模型预测中预测结果的概率值是一样的，但是模型部署的模型分实际是每天把库里全量样本的模型分都跑出结果，且客户可直接拿去使用；而模型预测只是预测上传的一部分样本的模型分)。
[0016]其中，模型部署包括步骤：(1)选择运行成功的模型，点击进入模型详情页面后勾选进行模型部署；(2)选择对应的商户号进行部署，将模型部署到决策引擎系统，以标签的形式展示在决策引擎系统中的模型分标签列表中。(模型分标签在决策引擎系统中，模型生成成功后，点击模型部署，即可部署到决策引擎平台，以标签的形式展示在决策引擎
‑
系统标签
‑
模型分标签列表中。)
[0017]进一步地，步骤S3中，针对随机森林模型，模型报告包括基本结果、特征重要性、预测值分布、模型效果图；针对Xgboost模型，模型报告包括基本结果、特征重要性、预测值分布、模型效果图；针对wide&deep模型，模型报告包括基本结果、IV结果、预测值分布、模型效果图；
[0018]针对评分策略模型，模型报告包括基本结果、IV结果、策略报告；针对信贷评分模型，模型报告包括基本结果、IV结果、预测值分布、入模特征详情、模型效果图；其中，预测值分布包括预测结果的等频分箱、等距分箱分布情况；模型效果图包括分数结果HIST图、KS图、ROC图、LIFT提升曲线图。
[0019]进一步地，步骤S1包括：选择数据导入方式，包括本地文件上传和从数据库导入。
[0020]本申请的第二个方面提供一种对业务数据进行管理和一体化建模系统，其包括：
[0021]数据源管理模块用于使底层数据连接于底层数据库；
[0022]数据集管理模块用于接收并管理以数据集形式导入的业务数据；
[0023]模型构建模块用于选择数据集管理页面中的某一数据表进行建模，模型构建模块包括数据准备模块、模型设置模块、模型配置模块以及生成结果模块，
[0024]数据准备模块用于选择要使用的数据表；
[0025]模型设置模块用于：(1)选择模型类型，所述模型类型包括wide&deep模型、随机森林模型、评分策略模型、XGBoost模型和信贷评分模型；(2)进行变量的选择，将变量勾选为预测变量或目标变量；
[0026]模型配置模块用于：(1)选择调优方式，包括智能调优与自定义两种；(2)进行参数
设置，包括建模前置参数、模型参数、分数映射参数三类；
[0027]生成结果模块用于生成结果并同步到模型管理页面：(1)数据预处理：对数据样本进行格式校验，剔除脏数据及不符合建模条件对特征列；同时根据参数将数据集划分为训练集、验证集、测试集，用于训练；(2)特征筛选：预处理后的样本通过KS值、PSI值、IV值、相关性等指标进行多轮筛选，保留最有效的特征，减少训练时间，提高模型效果；(3)模型训练：筛选后的样本集根据设置参数进行模型训练，并保存训练结果；(4)模型评估：计算各模型训练结果的相关指标结果，并输出指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对业务数据进行管理和一体化建模的方法，其特征在于，包括以下步骤：步骤S1：将业务数据以数据表的形式进行导入数据集管理页面；步骤S2：选择数据集管理页面中的某一数据表进行建模，包括步骤：步骤S2.1：数据准备：选择要使用的数据表；步骤S2.2：模型设置：(1)选择模型类型，所述模型类型包括wide&deep模型、随机森林模型、评分策略模型、XGBoost模型和信贷评分模型；(2)进行变量的选择，将变量勾选为预测变量或目标变量；步骤S2.3：模型配置：(1)选择调优方式，包括智能调优与自定义两种；(2)进行参数设置，包括建模前置参数、模型参数、分数映射参数三类；步骤S2.4：生成结果并同步到模型管理页面：(1)数据预处理：对数据样本进行格式校验，剔除脏数据及不符合建模条件的特征列；同时根据参数将数据集划分为训练集、验证集、测试集，用于训练；(2)特征筛选：预处理后的样本通过KS值、PSI值、IV值、相关性等指标进行多轮筛选，保留最有效的特征，减少训练时间，提高模型效果；(3)模型训练：筛选后的样本集根据设置参数进行模型训练，并保存训练结果；(4)模型评估：计算各模型训练结果的相关指标结果，并输出指标报告；步骤S3：查看各个模型是否运行成功，若运行成功，则模型管理列表“状态”列将变为“运行成功”，并查看该运行成功的模型对应的模型报告。2.如权利要求1所述的对业务数据进行管理和一体化建模的方法，其特征在于，在步骤S3之后，进一步包括：对运行成功的模型进行预测和/或部署；其中，模型预测包括步骤：(1)选择运行成功的模型，进行模型预测；(2)根据模板与入模标签文件上传符合要求的数据文件，根据需求选择是否设置目标变量；(3)点击预测，输出样本对应的预测结果概率值，以及由该概率值结果评估得到的指标报告，预测结果的概率值用于映射为模型分；其中，模型部署包括步骤：(1)选择运行成功的模型，点击进入模型详情页面后勾选进行模型部署；(2)选择对应的商户号进行部署，将模型部署到决策引擎系统，以标签的形式展示在决策引擎系统中的模型分标签列表中。3.如权利要求1所述的对业务数据进行管理和一体化建模的方法，其特征在于，步骤S3中，针对随机森林模型，模型报告包括基本结果、特征重要性、预测值分布、模型效果图；针对Xgboost模型，模型报告包括基本结果、特征重要性、预测值分布、模型效果图；针对wide&deep模型，模型报告包括基本结果、IV结果、预测值分布、模型效果图；针对评分策略模型，模型报告包括基本结果、IV结果、策略报告；针对信贷评分模型，模型报告包括基本结果、IV结果、预测值分布、入模特征详情、模型效果图；其中，预测值分布包括预测结果的等频分箱、等距分箱分布情况；模型效果图包括分数结果HIST图、KS图、ROC图、LIFT提升曲线图。4.如权利要求1所述的对业务数据进行管理和一体化建模的方法，其特征在于，步骤S1包括：选择数据导入方式，包括本地文件上传和从数据库导入。5.一种对业务数据进行管理和一体化建模系统，其特征在于，包括：数据源管理模块、数据集管理模块、模型构建模块以及模型查...

【专利技术属性】
技术研发人员：林三吉，高宁宁，曹诗语，林逸飞，薛敏，赵音龙，陈丰生，
申请(专利权)人：海纳致远数字科技上海有限公司，
类型：发明
国别省市：