一种始于数据中台的业务系统数据建模和评价的方法技术方案

本发明专利技术公开了一种始于数据中台的业务系统数据建模和评价的方法，包括汇聚整合以及提纯加工、建模处理、模型评估组成，本申请通过在业务处理模块中当客户资源数据提取完毕之后除去不需要的数值建立数图模型时，在建模处理中数形转换处理多增加了一个数据库其中带有数据分析判断模块，是通过完善后的客户数据传输至数形转换处理中先经过数据分析判断模块分析，将简单客户年龄数据直接对接生成衍生变量数据通道快速分解客户数据经过简单数学公式生成简单的折线图像可以直接观察产品所对应具体年龄的人方便企业人员制定相对应策划书，将特别不同变量经过Z

【技术实现步骤摘要】
一种始于数据中台的业务系统数据建模和评价的方法


[0001]本专利技术属于数据中台
，具体为一种一种始于数据中台的业务系统数据建模和评价的方法。

技术介绍

[0002]一种始于数据中台的业务系统数据建模和评价的方法是数据中台将一种将企业沉睡的客户数据变成数据资产结合业务系统生成有效的客户信息数据，为此提供企业人员持续使用数据分析为业务服务，最后从而实现数据价值变现的系统和机制。
[0003]现有的数据中台的业务系统数据建模和评价的方法流程是通过数据中台提供的方法和运行机制，形成汇聚整合、提纯加工、建模处理、模型评估，其中主要核心板块为业务建模处理，具体框架是通过原始数据资源到达建模处理板块中先是客户数据提取有效客户资源，随后再转入数据抽样分析阶段除去数据中不完善以及缺失的数据，再将客户资源生成数字提供企业工作人员分析再由工作人员将有效数值输入电脑生成数值图形，最后显示呈现提供企业人员分析和制定相对应商品策划书，同时评估完成的模型会以电脑端共享服务的方式将数据提供给业务部门每一个成员使用，从而与业务联动更好制定商品策划书。
[0004]现有的一种始于数据中台的业务系统数据建模和评价的方法使用过程中由于每个企业业务经理水平不齐以及建模处理模块中处理原始客户资源所生成的数图，不能满足每个业务经理的需求会对业务部门制定商品策划书有很大的影响，同时在业务处理模块中缺少数据库存储功能当业务经理需翻查以往数据带来困难，需从新在数据中台内查找造成工作效率的低下。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种始于数据中台的业务系统数据建模和评价的方法，具有业务处理模块中当客户资源数据提取完毕之后除去不需要的数值建立数图模型时，在建模处理中数形转换处理多增加了一个数据库其中带有数据分析判断模块，是通过完善后的客户数据传输至数形转换处理中先经过数据分析判断模块分析，将简单客户年龄数据直接对接生成衍生变量数据通道快速分解客户数据经过简单数学公式生成简单的折线图像可以直接观察产品所对应具体年龄的人方便企业人员制定相对应策划书，若当遇到客户年龄数据过大年龄其中重复过多呢会将客户数据传输至分箱变量通道中会生成分年龄段的饼状图像便于企业人员可以直接观察某年龄段所喜爱的产品有效的企业人员发现好的产品制定策划书，若客户数据内出现特别不同变量会通过数据分析判断模块传输至数据变量标准化通道中，将特别不同变量经过Z
‑
Score标准化算法使数据按照比例进行缩放数值落入一个小的区间范围之内，使得不同变量经过标准化后可以平等分析和比较减少企业人员遇到特殊变量难以解决的优点。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种始于数据中台的业务系统数据建模和评价的方法，始于数据中台的业务系统数据建模和评价的方法的具体操作流程包
括：汇聚整合、提纯加工、建模处理、模型评估；S1：汇聚整合内是将初步客户数据整合，且内部包含有产品关键词提取以及数据对比检测组成，产品关键词提取是查询（Ad Hoc）用户根据自己的需求，灵活的选择查询条件留有个人信息，系统能够根据用户选择的关键词生成相应的分组数据包提取。
[0007]S2：数据对比检测是提取出来的分组数据包先跟源数据对比，且内包含有数据包抽样分析以及CPDA循环法重复筛选，提纯加工是对对比完毕的初步分组数据包提取到达数据完善区域内将分组数据包中不全信息由缺失值及异常数值处理中更进一步完善数据。
[0008]S3：建模处理是将过滤完毕数据通过内部数形转换处理分析生成图形，数形转换处理将分组数据包传输至数据库中数据分析模块相对应解析分组数据包内部数值传输至相对应衍生变量数据模块以及、分箱变量模块、数据变量标准化模块、改善变量的转换模块中转为相对应数据图形。
[0009]S4：模型评估是直接接收建模处理后图形数据包解析根据内数值对应精确度和精度指标以及ROC曲线、KS曲线、Lift曲线和响应率曲线生成完整的模型方案。
[0010]优选的，提纯加工中的数据完善区域是使用缺失值处理及异常值处理完善分组数据包中数据其中缺失值处理是利用同类均值插补它用层次聚类模型预测缺失变量的类型，再以该类型的均值插补，异常值处理是对于区间型变量，就是把变量所有观察对象年龄数值按照升序排序，看从最大值倒推0.1%的较大值是否符合业务逻辑。
[0011]优选的，数形转换处理内数据库中的数据分析模块接收到数据之后经过Apriori挖掘关联规则（associate rules）算法，他通过挖掘分组数据包中频繁客户年龄项集（frequent item sets）来揭示物品之间的关联关系。
[0012]优选的，衍生变量数据模块是接收到简单客户年龄数据直接对接生成衍生变量数据通道快速分解客户数据经过简单数学公式生成简单的折线图像优选的，分箱变量模块是接收客户年龄数据过大年龄其中重复过多呢会将客户数据传输至分箱变量通道中会生成分年龄段的饼状图像。
[0013]优选的，数据变量标准化模块客户数据内出现特别不同变量会通过数据分析判断模块传输至数据变量标准化通道中，将特别不同变量经过Z
‑
Score标准化算法使数据按照比例进行缩放数值落入一个小的区间范围之内呈现。
[0014]与现有技术相比，本专利技术的有益效果如下：本申请通过在业务处理模块中当客户资源数据提取完毕之后除去不需要的数值建立数图模型时，在建模处理中数形转换处理多增加了一个数据库其中带有数据分析判断模块，是通过完善后的客户数据传输至数形转换处理中先经过数据分析判断模块分析，将简单客户年龄数据直接对接生成衍生变量数据通道快速分解客户数据经过简单数学公式生成简单的折线图像可以直接观察产品所对应具体年龄的人方便企业人员制定相对应策划书，若当遇到客户年龄数据过大其中年龄重复过多，会将客户数据传输至分箱变量通道中会生成分年龄段的饼状图像便于企业人员可以直接观察某年龄段所喜爱的产品有效的企业人员发现好的产品制定策划书，若客户数据内出现特别不同变量会通过数据分析判断模块传输至数据变量标准化通道中，将特别不同变量经过Z
‑
Score标准化算法使数据按照比例进行缩放数值落入一个小的区间范围之内，使得不同变量经过标准化后可以平等分析和比较减少企业人员遇到特殊变量难以解决，若客户数据中年龄数值分布偏差太大，严重
不对称会将此数据传输至改善变量的转换通道中，经过对客户数据中年龄数值分布偏差太大，严重不对称数值取对数log、开平方根、取倒数、开平方、取指数使数值达到对称呈近似对称正态图形，便于企业人员直观发现产品位于某年龄段最高值和最低值制定相对应的策划书，此整体客户数据经过数据库中的分析模块解析对应相对应的通道生成图形直观反馈与企业人员，有效的满足企业业务经理可以直观的观察简单图形做出具体决策也弥补了业务经理水平不齐的缺陷；在数据转化图形完毕之后会经过企业人员进行人机交互将所需数据打包整合成文档标注直接分类存储数据库中，减少企业人员后期查阅以往数据需从数据中台翻阅的麻烦，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种始于数据中台的业务系统数据建模和评价的方法，其特征在于：始于数据中台的业务系统数据建模和评价的方法具体操作流程包括：汇聚整合、提纯加工、建模处理、模型评估；S1：所述汇聚整合是将初步客户数据整合，且内部包含有产品关键词提取以及数据对比检测组成，所述产品关键词提取是查询Ad Hoc用户根据自己的需求，灵活的选择查询条件留有个人信息，系统能够根据用户选择的关键词生成相应的分组数据包提取；S2：所述数据对比检测是提取出来的分组数据包先跟源数据对比，且内包含有数据包抽样分析以及CPDA循环法重复筛选，所述提纯加工是对对比完毕的初步分组数据包提取到达数据完善区域内将分组数据包中不全信息由缺失值及异常数值处理中更进一步完善数据；S3：所述建模处理是将过滤完毕数据通过内部数形转换处理分析生成图形，所述数形转换处理将分组数据包传输至数据库中数据分析模块相对应解析分组数据包内部数值传输至相对应衍生变量数据模块以及、分箱变量模块、数据变量标准化模块、改善变量的转换模块中转为相对应数据图形；S4：所述模型评估是直接接收建模处理后图形数据包解析根据内数值对应精确度和精度指标以及ROC曲线、KS曲线、Lift曲线和响应率曲线生成完整的模型方案。2.根据权利要求1所述的一种始于数据中台的业务系统数据建模和评价的方法，其特征在于：所述提纯加工中的数据完善区域是使用缺失值处理及异常值处理完善分组数据包中数据其中缺失值处理是利用...

【专利技术属性】
技术研发人员：李保平，谢超，杨建荣，陈木辉，麦新伟，戴思敏，欧再辉，
申请(专利权)人：广州汇通国信科技有限公司，
类型：发明
国别省市：