【技术实现步骤摘要】
本申请属于大数据领域的数据模型构建技术，尤其涉及一种基于数据价值评估的数据模型构建方法。
技术介绍
1、随着数字化推进，传统的面向主题的数据模型构建方法，越来越难以满足高效易用和应对业务需求变化，因此面向数据价值的动态数据模型构建技术成为热点课题。
2、现有的数据模型构建方法：1)汇聚企业内多源异构的数据模型、领域数据模型、编码表和模型数据，构建原始数据模型仓库；2)对原始数据模型执行清洗、抽取、分类、重组、数值修正后，构建基础数据模型仓库；3)基于基础数据模型仓库，对模型进行裁剪、链接和计算，构建面向不同业务的主题数据模型仓库；4)通过主题数据模型仓库的数据，向不同业务域的数据需求，提供数据服务。
3、现有技术的问题和缺点在于：步骤3是依赖于开发人员对业务需求的理解，预先对数据模型进行设计，设计的数据模型发布使用后，不能动态变更，如果业务需求发生变化，需要设计、开发和发布新的数据模型。
4、现有技术的改进方案：为解决这个问题，业界使用的mpp架构的数据库，这种架构数据库，跳过步骤3)，使得业务的数据需求直接使用原始数据，这种方式减少了步骤3)，但是也带了新的问题，基于mpp架构的数据库，数据模型差异化大，数据模型的数据元很多，造成业务方使用非常困难。
技术实现思路
1、本申请的目的在于：为解决现有数据模型构建技术和基于mpp架构数据库所存在的问题，本申请公开了一种基于数据价值评估的数据模型构建方法，将现有方案中需要研发人员参与的数据模型设计和变
2、本申请目的通过下述技术方案来实现：
3、一种基于数据价值评估的数据模型构建方法，所述数据模型构建方法包括：
4、s1：基于mpp架构数据库，构建基础数据模型；
5、s2：基于基础数据模型，构建初始主题数据模型；
6、s3：业务域调用数据，同时记录数据价值评估要素；
7、s4：获取数据价值评估要素的观测数据；
8、s5：训练数据价值评估模型；
9、s6：基于s5获得的数据价值评估模型计算s4得到的观测数据，获得相应模型运行态的数据价值评估值；
10、s7：基于数据价值评估值，在运行态动态重构或更新主题数据模型。
11、根据一个优选的实施方式，步骤s1包括：将基础数据模型，构建在mpp架构数据库上，当业务需要的数据，不能够由主题数据模型提供服务时，数据请求能够传到mpp架构数据库，并由mpp架构数据库提供数据服务。
12、根据一个优选的实施方式，步骤s2包括：基于基础数据模型仓库，对模型进行裁剪、链接和计算，面向不同业务的主题构建初始数据模型仓库。
13、根据一个优选的实施方式，步骤s3包括：业务方基于初始主题数据模型，使用查询、统计、筛选方式获取业务需要的数据，同时记录数据价值评估的要素信息。
14、根据一个优选的实施方式，步骤s3中数据价值评估的要素信息，包括不限于以下要素：
15、时间要素、服务要素、构建要素、存储要素。
16、根据一个优选的实施方式，时间要素包括：若干时间点和时间范围；所述服务要素包括：调用者、调用次数、更新次数、命中次数和平均相应时间；构建要素包括：构建时长、卡顿次数、重试次数、失败次数和血缘路径；所述存储要素包括：存储容量和字段数量。
17、根据一个优选的实施方式，步骤s4包括：通过特征工程，采用特征签名哈希函数h，计算得到数据模型m的数据项i为特征向量v，其中，v＝h(数据模型标识，数据项标识)。
18、根据一个优选的实施方式，步骤s5中，数据价值评估模型k(v)，基于每一种数据模型的价值评估要素，进行评估获得。
19、根据一个优选的实施方式，步骤s5中，训练数据价值评估模型过程包括：
20、通过历史数据使得k(v)模型的值为：要拟合时间段越重要、调用者越多、调用次数越多、更新次数越多、命中次数越多、平均响应时间约少、构建时长越短、卡顿次数越少、重试次数越少、价值评估越高的数学期望；
21、相应数学期望表达式为：
22、
23、其中，pij为第i项价值要素的第j维变量的预设值，δij为第i项价值要素的第j维变量的价值参数，n表示数据价值要素类别总数，k表示相应数据价值要素类别的子项总数，通过模型训练，得到拟合数学期望的f(v)公式的vij预设值。
24、根据一个优选的实施方式，步骤s7包括：数据价值评估得分大于预设门限值时，则相应数据模型的数据项保留或增加；当数据价值评估得分小于预设门限值，则相应数据模型的数据项废弃，从而实现了在运行状态，主题数据模型依据数据价值评估模型k(v)对数据价值的评估，动态更新。
25、前述本申请主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本申请可采用并要求保护的方案。本领域技术人员在了解本申请方案后根据现有技术和公知常识可明了有多种组合，均为本申请所要保护的技术方案，在此不做穷举。
26、本申请的有益效果：
27、在工业制造领域，设计、制造、运维等核心阶段产生的数据，在汇聚到系统后，需要研发人员(it人员)介入，根据业务方的数据需求根据模型设计，如果有数据需求变更。it人员还要重新设计数据模型，并发布。没有一种根据业务需求，动态调整的方案。在生产制造场景中，设计阶段产生的设计数据模型，包含200多项数据。生产制造阶段产生300多项数据，运维阶段也包含很多项数据。这些数据模型如何能够按照业务实际需求，动态的，弹性的变化，成为当前非常热的核心课题。
28、本申请将现有方案中需要研发人员参与的数据模型设计和变更工作，调整为基于数据价值的模型构建技术；使得业务域使用的主题数据模型，是基于数据的价值能够动态适应业务变化，而不通过人为设计和设置。
29、本申请支撑动态扩容和动态缩容，缩容和扩容的依据是通过数据价值评估模型k(v)机器学习方式，通过计算得到数据的价值，再基于这个价值判断是否需要；从而实现了在运行状态，主题数据模型依据数据价值评估模型k(v)对数据价值的评估，动态更新。提高了模型更新效率和智能性，降低了人为参与过程。
本文档来自技高网...【技术保护点】
1.一种基于数据价值评估的数据模型构建方法，其特征在于，所述数据模型构建方法包括：
2.如权利要求1所述的数据模型构建方法，其特征在于，步骤S1包括：将基础数据模型，构建在MPP架构数据库上，当业务需要的数据，不能够由主题数据模型提供服务时，数据请求能够传到MPP架构数据库，并由MPP架构数据库提供数据服务。
3.如权利要求1所述的数据模型构建方法，其特征在于，步骤S2包括：基于基础数据模型仓库，对模型进行裁剪、链接和计算，面向不同业务的主题构建初始数据模型仓库。
4.如权利要求1所述的数据模型构建方法，其特征在于，步骤S3包括：业务方基于初始主题数据模型，使用查询、统计、筛选方式获取业务需要的数据，同时记录数据价值评估的要素信息。
5.如权利要求4所述的数据模型构建方法，其特征在于，步骤S3中数据价值评估的要素信息，包括不限于以下要素：时间要素、服务要素、构建要素、存储要素。
6.如权利要求5所述的数据模型构建方法，其特征在于，
7.如权利要求1所述的数据模型构建方法，其特征在于，步骤S4包括：通过特征工程
8.如权利要求1所述的数据模型构建方法，其特征在于，步骤S5中，数据价值评估模型K(V)，基于每一种数据模型的价值评估要素，进行评估获得。
9.如权利要求8所述的数据模型构建方法，其特征在于，步骤S5中，训练数据价值评估模型过程包括：
10.如权利要求1所述的数据模型构建方法，其特征在于，步骤S7包括：数据价值评估得分大于预设门限值时，则相应数据模型的数据项保留或增加；当数据价值评估得分小于预设门限值，则相应数据模型的数据项废弃，从而实现了在运行状态，主题数据模型依据数据价值评估模型K(V)对数据价值的评估，动态更新。
...【技术特征摘要】
1.一种基于数据价值评估的数据模型构建方法，其特征在于，所述数据模型构建方法包括：
2.如权利要求1所述的数据模型构建方法，其特征在于，步骤s1包括：将基础数据模型，构建在mpp架构数据库上，当业务需要的数据，不能够由主题数据模型提供服务时，数据请求能够传到mpp架构数据库，并由mpp架构数据库提供数据服务。
3.如权利要求1所述的数据模型构建方法，其特征在于，步骤s2包括：基于基础数据模型仓库，对模型进行裁剪、链接和计算，面向不同业务的主题构建初始数据模型仓库。
4.如权利要求1所述的数据模型构建方法，其特征在于，步骤s3包括：业务方基于初始主题数据模型，使用查询、统计、筛选方式获取业务需要的数据，同时记录数据价值评估的要素信息。
5.如权利要求4所述的数据模型构建方法，其特征在于，步骤s3中数据价值评估的要素信息，包括不限于以下要素：时间要素、服务要素、构建要素、存储要素...
【专利技术属性】
技术研发人员：梁乐平，刘华，邓锐，
申请(专利权)人：成都天奥测控技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。