【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于大数据的数据资产评估方法及系统。
技术介绍
1、在现代信息技术迅猛发展的背景下，大数据已成为支撑企业战略决策和运营优化的核心资产，数据资产评估方法是信息科学和数据管理领域中的一个重要研究方向，关键在于如何准确、高效地评估和利用这些数据资产的价值。随着计算能力的提升和数据采集技术的进步，多源数据的整合与分析成为可能，但同时也带来了新的挑战。现有方法往往缺乏对数据资产之间关系动态变化的有效捕捉，在识别数据资产的关键节点和重要关系方面存在不足，在数据资产的价值评估的全面性和准确性上还有待进一步提高，因此，需要一种更动态以及深入的数据资产评估方法。
技术实现思路
1、本专利技术目的在于提供一种基于大数据的数据资产评估方法及系统，以解决上述问题。
2、本专利技术通过下述技术方案实现：
3、一种基于大数据的数据资产评估方法及系统，其包括，
4、收集多源数据存储至中央数据库并上传到区块链中进行数据确权与记录；
5、基于中央数据库构建数据资产的图网络，捕捉图网络中数据关系的时间变化并从图网络中提取节点特征；
6、基于提取的节点特征识别影响数据资产价值的因素，构建资产评估模型评估数据资产价值；
7、存储数据资产评估过程中产生的数据并实施访问控制。
8、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述收集多源数据存储至中央数据库并上传到区块链中进行数据确权
9、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述基于中央数据库构建数据资产的图网络指安装neo4j图数据库和elasticsearch，构建图数据模型，将两个节点之间的交易关系作为边连接相关的数据资产节点和用户节点；
10、在基础模型上增加数据资产的多维属性并根据数据资产的交易频率和金额设置边的权重；
11、基于数据资产间的交互强度和频率使用数据资产影响力评分公式定义数据资产的中心性：
12、
13、式中，s(v)表示资产节点的影响力评分，wuv是节点u和v之间的关系权重，tuv是最近的交互时间，f是时间衰减函数；
14、计算每个数据资产节点的影响力评分并将影响力评分作为节点的属性；
15、建立实时数据监控系统实时监控数据资产的动态变化并将更新推送至neo4j，使用指数衰减函数实时调整数据资产节点的初始价值属性；
16、使用批量导入工具将数据资产和交易记录导入neo4j，基于市场波动和历史数据资产使用风险评估公式更新数据资产节点的风险属性；
17、当监测到数据资产的初始价值和风险发生变化时，自动更新图网络中数据资产节点的价值属性和风险属性。
18、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述捕捉数据关系的时间变化并从图网络中提取节点特征指为每个边添加时间属性并定义时间窗口，对数据资产关系进行时间序列分析，计算每个数据资产节点在不同时间窗口的统计指标，在neo4j中使用cypher查询来生成统计指标，并将统计指标作为属性添加到相应的数据资产节点上；
19、获取图网络中所有节点和对应的边，配置graphsage模型参数，通过聚合每个数据资产节点的邻居信息学习节点嵌入并进行迭代更新；
20、通过反向传播更新模型权重并定义损失函数，当在连续迭代过程中graphsage模型的损失不再明显下降则停止迭代输出模型参数更新graphsage模型；
21、训练完成后，从graphsage模型中提取节点与边的特征。
22、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述基于提取的节点特征识别影响数据资产价值的因素指基于业务知识和从图网络中提取的节点特征，定义影响数据资产初始价值的假设因素列表，使用dowhy库绘制因果图，确定数据资产的交易频率为原因变量，数据资产的初始价值为结果变量；
23、使用回归分析方法估计因素对数据资产初始价值的影响进行因果推断，因果推断的结果包括每个因素的系数，检查每个因素的p值并设定判断阈值q，将每个因素的p值与判断阈值q进行对比判断因素对结果变量的影响，若因素的p值小于q，则该因素在统计上显著，说明该因素影响结果变量，否则不影响；
24、构建xgboost模型量化每个因素对数据资产初始价值的贡献，使用从图网络中提取的特征训练xgboost模型，使用交叉验证方法验证xgboost模型性能，若模型性能没有改善则停止训练，获取训练好的xgboost模型；
25、基于因果推断结果调整xgboost模型的参数，使用从因果推断中筛选出的因素作为输入变量识别对数据资产初始价值影响最大的因素。
26、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述构建资产评估模型评估数据资产价值指构建线性回归模型作为资产评估模型，将数据资产的初始价值作为因变量，最大影响因素作为自变量，使用最小二乘法估计模型参数，使用历史影响因素和历史数据资产价值数据作为训练数据输入进资产评估模型进行迭代训练；
27、定义损失函数和adam优化器进行模型参数迭代优化，当在连续迭代过程中资产评估模型的损失不再明显下降则停止迭代输出模型参数更新资产评估模型；
28、将需要评估的数据输入资产评估模型中得到数据资产的价值评估结果。
29、作为本专利技术所述基于大数据的数据资产评估方法的一种优选方案，其中：所述存储数据资产评估过程中产生的数据并实施访问控制指在通过智能合约验证数据资产价值评估结果并记录在区块链后，将结果同步存储进中央数据库中，收集数据资产评估过程中产生的数据存储进中央数据库中并实施访问控制，允许授权用户查询和访问数据。
30、本专利技术的另外一个目的是提供一种基于大数据的数据资产评估系统，其包括，
31、数据采集模块，用于确定并配置需要集成的数据源类型，收集数据进行预处理并进行区块链确权和记录，将数据存储进中央数据库中；
32、图网络构建模块，用于基于中央数据库构建图数据库并根据节点数据的变化实时更新节点属性并提取图网络中的节点特征；
33、因果推断模块，用于使用dowhy库绘制因果图并使用回归分析方法进行因果推断，使用xgboost模型量化各因素的贡献度；
34、资产评估模块，用于基于最大影响因素构建资产评估模型进行数据资产的价值评估并将评估结果通过智能合约验证数据资产价值评估结果，将评估过程中产生的数据存储在中央数据库中。
35、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于大数本文档来自技高网...
【技术保护点】
1.一种基于大数据的数据资产评估方法，包括，其特征在于：
2.根据权利要求1所述的一种基于大数据的数据资产评估方法，其特征在于：所述捕捉数据关系的时间变化并从图网络中提取节点特征指为每个边添加时间属性并定义时间窗口，对数据资产关系进行时间序列分析，计算每个数据资产节点在不同时间窗口的统计指标，在Neo4j中使用Cypher查询来生成统计指标，并将统计指标作为属性添加到相应的数据资产节点上；
3.根据权利要求2所述的一种基于大数据的数据资产评估方法，其特征在于：所述基于提取的节点特征识别影响数据资产价值的因素指基于业务知识和从图网络中提取的节点特征，定义影响数据资产初始价值的假设因素列表，使用DoWhy库绘制因果图，确定数据资产的交易频率为原因变量，数据资产的初始价值为结果变量；
4.根据权利要求3所述的一种基于大数据的数据资产评估方法，其特征在于：所述构建资产评估模型评估数据资产价值指构建线性回归模型作为资产评估模型，将数据资产的初始价值作为因变量，最大影响因素作为自变量，使用最小二乘法估计模型参数，使用历史影响因素和历史数据资产价值数据作为训
5.根据权利要求4所述的一种基于大数据的数据资产评估方法，其特征在于：所述存储数据资产评估过程中产生的数据并实施访问控制指在通过智能合约验证数据资产价值评估结果并记录在区块链后，将结果同步存储进中央数据库中，收集数据资产评估过程中产生的数据存储进中央数据库中并实施访问控制，允许授权用户查询和访问数据。
6.一种基于权利要求1-5任一所述的基于大数据的数据资产评估方法的基于大数据的数据资产评估系统，其特征在于：包括，
7.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的基于大数据的数据资产评估方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于大数据的数据资产评估方法的步骤。
...【技术特征摘要】
1.一种基于大数据的数据资产评估方法，包括，其特征在于：
2.根据权利要求1所述的一种基于大数据的数据资产评估方法，其特征在于：所述捕捉数据关系的时间变化并从图网络中提取节点特征指为每个边添加时间属性并定义时间窗口，对数据资产关系进行时间序列分析，计算每个数据资产节点在不同时间窗口的统计指标，在neo4j中使用cypher查询来生成统计指标，并将统计指标作为属性添加到相应的数据资产节点上；
3.根据权利要求2所述的一种基于大数据的数据资产评估方法，其特征在于：所述基于提取的节点特征识别影响数据资产价值的因素指基于业务知识和从图网络中提取的节点特征，定义影响数据资产初始价值的假设因素列表，使用dowhy库绘制因果图，确定数据资产的交易频率为原因变量，数据资产的初始价值为结果变量；
4.根据权利要求3所述的一种基于大数据的数据资产评估方法，其特征在于：所述构建资产评估模型评估数据资产价值指构建线性回归模型作为资产评估模型，将数据资产的初始价值作为因变量，最大影响因素作为自变量，...
【专利技术属性】
技术研发人员：王双，程越，高昂，徐凯程，
申请(专利权)人：中国标准化研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。