一种数据价值评估方法及评估系统技术方案

本发明专利技术涉及数据处理技术领域，具体提供了一种数据价值评估方法及评估系统，包括：基于用户行为数据和大数据挖掘获取第一数据，在数据接入层结合评估因子对第一数据进行预处理得到第二数据；将第二数据输入系统评估中心对第二数据进行模型训练以生成标准模型，同时以生成的标准模型建立模型库；人工选取模型库的内的最优模型并结合标准模型对第二数据的应用价值进行指标评估得到评估结果；本发明专利技术实施例公开的数据价值评估方法通过设置评估因子对所获取的数据进行预处理得到第二数据，然后通过模型训练生成标准模型，采用人工选择最优的标准模型和系统选择标准模型的方式选择评估数据模型，使得数据评估结果更加准确和客观。观。观。

【技术实现步骤摘要】
一种数据价值评估方法及评估系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据价值评估方法及评估系统。

技术介绍

[0002]在现有的数据评估系统中，数据的采集大多数是通过引导用户行为来采集用户的行为数据，或者通过数据资源对接和网络的爬虫的方式来获取数据。数据的评估通过人为引导用户评分的方式来作为用户数据模型，或者通过接入其他平台如征信等平台来进行数据存储和分析，也有通过建立内部人工打分系统，通过人工打分的方式对数据进行分级评估然后赋予不同的价值区间。最后数据的收集和数据资源对接来实现数据的价值评估系统，然后形成的一套数据评估方法。
[0003]这类数据评估方案仍有不足，现在数据价值的评估方式大量于依赖平台的资源，利用用户行为的数据，还有人工评估维护数据级别的方式，来形成一套简单的评估系统规则，显然这样的评估规则往往带有很主观的因素和数据管理方的意愿。另外对用户引导行为和网络爬虫对数据进行采集会对有很多杂乱数据，对用户体验也不太友好。所以这类评估方法和评估系统，评估出的数据难以反应出数据在真实业务场景中的需求价值，导致评估的准确性较差，适用性不佳，评估结果不够客观。因此，本申请提出了一种数据价值评估方法及评估系统。

技术实现思路

[0004]本专利技术的目的在于提供一种数据价值评估方法及评估系统，以解决目前的数据价值评估方法准确性差、评估结果不客观的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种数据价值评估方法及评估系统，包括以下步骤：
[0007]基于用户行为数据和大数据挖掘获取第一数据，在数据接入层结合评估因子对第一数据进行预处理得到第二数据；
[0008]将第二数据输入系统评估中心对第二数据进行模型训练以生成标准模型，同时以生成的标准模型建立模型库；
[0009]人工选取模型库的内的最优模型并结合标准模型对第二数据的应用价值进行指标评估得到评估结果。
[0010]进一步的，在得到第二数据后还包括以下步骤：
[0011]将第二数据存储到第一数据库内以便于评估时从第一数据库读取数据。
[0012]进一步的，所述第一数据库为数据库集群以实现主从复制和读写分离。
[0013]进一步的，所述对第二数据进行模型训练的具体方法包括以下步骤：
[0014]结合业务知识、SQL语句、统计分析方法对第二数据进行数据分析，得到第三数据；
[0015]基于清洗规则对第三数据进行检测处理，得到第四数据；
[0016]基于业务数据对检测处理后的第四数据进行关联性验证，输出第五数据。
[0017]将所述第五数据输入神经元网络，并在神经元网络进行加权计算，分别求出隐藏层加权和以及输出层加权和；
[0018]基于隐藏层加权和以及输出层加权和通过误差函数计算总误差；
[0019]重复进行本，直至误差值得分趋于0或收敛趋势不再变化，完成模型训练，输出训练模型作为标准模型。
[0020]进一步的，所述隐藏层加权和由公式(1)获取，所述输出层加权和由公式(2)获取：
[0021]target＝i1×
w1+i2×
w1+i3×
w1，公式(1)；
[0022]output＝h1×
w2+h2×
w2+h3×
w3，公式(2)；
[0023]其中，target为隐藏层加权和；
[0024]output为输出层加权和；
[0025]i1、i2和i3分别为输入层数据的三个神经元输入值；
[0026]h1、h2、h3为隐含层的三个神经元输入值；
[0027]w1为第一权重，w2为第二权重。
[0028]进一步的，所述误差函数为公式(3):
[0029][0030]其中，E
total
为总误差值。
[0031]进一步的，所述评估因子的获取包括以下步骤：
[0032]将第二数据分成互不相交的K组数据子集；
[0033]在K组数据子集中随机选取一个数据子集作为测试集，其余K
‑
1个为训练集；
[0034]使用训练集进行模型训练得到标准模型，基于测试集和标准模型得到泛化误差，直至K组数据子集中每个数据子集均作为一次测试集，得到K个泛化误差；
[0035]取K个泛化误差的均值作为当前模型的评估因子，并输出。
[0036]一种数据价值评估系统，包括：
[0037]获取单元，用于获取第一数据；
[0038]预处理单元，用于预处理第一数据；
[0039]模型训练单元，用于对第二数据进行模型训练以生成标准模型；
[0040]模型库，用于存储标准模型；
[0041]评估单元，用于通过标准模型对评估第二数据的价值以生成评估结果。
[0042]综上所述，本专利技术与现有技术相比具有以下有益效果：
[0043]本专利技术实施例公开的数据价值评估方法通过设置评估因子对所获取的数据进行预处理得到第二数据，然后通过模型训练生成标准模型，采用人工选择最优的标准模型和系统选择标准模型的方式选择评估数据模型，使得数据评估结果更加准确和客观。
附图说明
[0044]图1为本专利技术公开的数据价值评估方法的流程图。
[0045]图2为本专利技术公开的数据价值评估方法其中一个实施例的流程框图。
[0046]图3为本专利技术公开的数据价值评估方法中分布式消息系统的原理示意图。
[0047]图4为本专利技术公开的数据价值评估方法其中一个子程序的流程框图。
[0048]图5为本专利技术公开的数据价值评估方法另一个子程序的流程框图。
[0049]图6为本专利技术公开的数据价值评估方法神经元网络甲醛算法的示意图。
[0050]图7为本专利技术公开的数据价值评估方法中标准模型交叉验证的示意图。
[0051]图8为本专利技术公开的数据价值评估系统的结构框图。
具体实施方式
[0052]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0053]实施例1
[0054]图1和图2所示，为本专利技术的一个实施例提供的一种数据价值评估方法，所述方法包括以下步骤：
[0055]步骤S100、基于用户行为数据和大数据挖掘获取第一数据，在数据接入层结合评估因子对第一数据进行预处理得到第二数据；
[0056]具体的，在获取第一数据时，基于用户端的行为数据以及大数据挖掘中心挖掘关系数据库、非关系数据库、文本数据库、多媒体数据库、图数据库、空间数据库等获取第一数据，例如挖掘智能终端上用户的操作数据，具体的用户的APP开启频率、用户的搜索频率等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据价值评估方法，其特征在于，包括以下步骤：基于用户行为数据和大数据挖掘获取第一数据，在数据接入层结合评估因子对第一数据进行预处理得到第二数据；将第二数据输入系统评估中心对第二数据进行模型训练以生成标准模型，同时以生成的标准模型建立模型库；人工选取模型库的内的最优模型并结合标准模型对第二数据的应用价值进行指标评估得到评估结果。2.根据权利要求1所述的数据价值评估方法，其特征在于，在得到第二数据后还包括以下步骤：将第二数据存储到第一数据库内以便于评估时从第一数据库读取数据。3.根据权利要求2所述的数据价值评估方法，其特征在于，所述第一数据库为数据库集群以实现主从复制和读写分离。4.根据权利要求1所述的数据价值评估方法，其特征在于，所述对第二数据进行模型训练的具体方法包括以下步骤：结合业务知识、SQL语句、统计分析方法对第二数据进行数据分析，得到第三数据；基于清洗规则对第三数据进行检测处理，得到第四数据；基于业务数据对检测处理后的第四数据进行关联性验证，输出第五数据。将所述第五数据输入神经元网络，并在神经元网络进行加权计算，分别求出隐藏层加权和以及输出层加权和；基于隐藏层加权和以及输出层加权和通过误差函数计算总误差；重复进行本，直至误差值得分趋于0或收敛趋势不再变化，完成模型训练，输出训练模型作为标准模型。5.根据权利要求4所述的数据价值评估方法，其特征在于，所述隐藏层加权和由公式(1)获取，所述输出层加权和由公...

【专利技术属性】
技术研发人员：胡朋，陈海江，
申请(专利权)人：浙江力石科技股份有限公司，
类型：发明
国别省市：