【技术实现步骤摘要】
本专利技术涉及数据处理，具体为一种基于大数据的财务数据迁移方法及系统。
技术介绍
1、随着财务数据管理系统的不断扩大，数以万计的财务数据文件存储在计算机内，并且由于财务数据的特殊性，不能随意的删除和修改；但单个数据服务器很难提供足够大的储存空间去存储财务数据，并且由于财务数据的重复访问量高，给财务数据迁移造成了很大的难度。
2、现有公开申请专利cn110489398a，该方法通过自动下载不同的待迁移的财务系统内的数据，并通过自动匹配方式对下载不同的待迁移的财务系统内的数据导入进行压缩、拼装和上传；同时通过接收端匹配程度对接收到的财务系统内的数据进行匹配，将匹配成功的数据进行入库处理；但由于该专利技术忽略财务数据的重复访问量高，在重复访问过程中，频繁的迁移会造成数据的紊乱以及降低数据迁移的效率，具有很大的局限性。
技术实现思路
1、（一）解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种基于大数据的财务数据迁移方法及系统，具备准确、高效、实时等优点，解决了由于财务数据的重复访问量高，财务数据迁移难的问题。
3、（二）技术方案
4、为解决上述由于财务数据的重复访问量高，财务数据迁移难的问题的技术问题，本专利技术提供如下技术方案：
5、本专利技术公开一种基于大数据的财务数据迁移方法，具体包括以下步骤：
6、s1、实时采集历史财务数据，并对采集到的历史财务数据进行处理，得到处理后的历史财务数据；
8、s3、基于得到的划分后的历史财务数据构建数据迁移模型；
9、s4、基于得到的划分后的历史财务数据，通过数据特征提取方式提取划分后的历史财务数据的特征数组；
10、s5、通过遗传算法对提取得到的特征数组与构建数据迁移模型进行迭代分析计算，确定数据迁移的基准；
11、s6、基于确定的数据迁移的基准对财务数据进行迁移。
12、本专利技术通过实时采集历史财务数据，并对采集到的历史财务数据进行处理，同时基于得到的处理后的历史财务数据构建训练集，并通过数据访问监测的方式对训练集中处理后的历史财务数据进行划分；划分完成后基于得到的划分后的历史财务数据构建数据迁移模型，同时通过数据特征提取方式提取划分后的历史财务数据的特征数组，进而通过遗传算法对提取得到的特征数组与构建数据迁移模型进行迭代分析计算，确定数据迁移的基准，并基于确定的数据迁移的基准对财务数据进行迁移，提高了财务数据迁移效率。
13、优选地，所述实时采集历史财务数据，并对采集到的历史财务数据进行处理，得到处理后的历史财务数据包括以下步骤：
14、对采集到的历史财务数据进行标准化处理；
15、历史财务数据标准化公式如下所示：
16、；
17、其中，表示历史财务数据的最小值，表示历史财务数据的最大值，表示历史财务数据，表示标准化后的历史财务数据；
18、设定标准化后的历史财务数据为处理后的历史财务数据。
19、本专利技术通过实时采集历史财务数据，并通过数据标准化方式对实时采集的历史财务数据进行处理，使实时采集的历史财务数据标准、有效，提高了处理后的历史财务数据的可靠性。
20、优选地，所述基于得到的处理后的历史财务数据构建训练集，并通过数据访问监测的方式对训练集中处理后的历史财务数据进行划分，得到划分后的历史财务数据包括以下步骤：
21、s21、基于得到的处理后的历史财务数据构建训练集；
22、设定切片大小，并对得到的处理后的历史财务数据进行均匀切片；
23、对均匀切片后不足切片大小的处理后的历史财务数据末尾补0；
24、将均匀切片后的处理后的历史财务数据进行编号，并进行首尾连接；
25、构建训练集；
26、其中，表示训练集，表示处理后历史财务数据的第一组切片，表示处理后历史财务数据的第n组切片；
27、s22、通过数据访问监测的方式对训练集中的数据进行访问，并记录访问次数；
28、s23、基于记录的访问次数对处理后的历史财务数据进行划分；
29、设定轮周期后未被访问的处理后历史财务数据的切片为冷指标，设定轮周期后被访问的处理后历史财务数据的切片为热指标。
30、优选地，所述通过数据访问监测的方式对训练集中的数据进行访问，并记录访问次数包括以下步骤：
31、设定数据访问监测的周期和一个动态缓存窗口；
32、在数据访问监测的周期内每访问一组处理后历史财务数据的切片时，将对应处理后历史财务数据的编号保存至动态缓存窗口，同时记录每组处理后历史财务数据切片的访问次数；
33、将记录每组处理后历史财务数据切片的访问次数以向量表示；
34、设定轮周期，，输出每组处理后历史财务数据切片的向量组；
35、对于处理后历史财务数据的第n组切片，8轮周期后输出的向量组为；
36、其中，向量组中的数据表示该组切片在本周期内的被访问次数，5表示在本周期内被访问5次。
37、本专利技术通过使用均匀切片的方式对训练集中处理后的历史财务数据进行切片，同时通过使用数据访问监测的方式对切片后的历史财务数据进行监测，实时记录训练集中每组切片后的历史财务数据被访问的次数，并根据访问次数对历史财务数据进行划分，提高了历史财务数据划分的合理性。
38、优选地，所述基于得到的划分后的历史财务数据构建数据迁移模型包括以下步骤：
39、数据迁移模型构建公式如下所示：
40、；
41、；
42、其中，表示划分后的历史财务数据的预测运行成本，表示热指标的预测运行成本，表示冷指标的预测运行成本，表示将热指标预测错误为冷指标后，发生重新访问被划分为热指标的成本，表示构建的数据迁移模型，为比较基准。
43、本专利技术通过计算划分后历史财务数据的预测运行成本的方式构建数据迁移模型，并通过构建数据迁移模型将历史财务数据的预测运行成本量化，提高了数据迁移模型构建的准确性。
44、优选地，所述基于得到的划分后的历史财务数据，通过数据特征提取方式提取划分后的历史财务数据的特征数组包括以下步骤：
45、s41、实时设定周期轮次，基于设定的周期轮次计算划分后的历史财务数据中热指标的访问命中率；
46、s42、设定访问命中率阈值，当在设定周期轮次中热指标的访问命中率低于设定的阈值时，通过数据特征提取方式提取划分后的历史财务数据的特征数组；
47、实时设定轮周期，，输出每轮周期内划分后的历史财务数据被访问的次数；
<本文档来自技高网...【技术保护点】
1.一种基于大数据的财务数据迁移方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述实时采集历史财务数据，并对采集到的历史财务数据进行处理，得到处理后的历史财务数据包括以下步骤：
3.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于得到的处理后的历史财务数据构建训练集，并通过数据访问监测的方式对训练集中处理后的历史财务数据进行划分，得到划分后的历史财务数据包括以下步骤：
4.根据权利要求3所述的一种基于大数据的财务数据迁移方法，其特征在于，所述通过数据访问监测的方式对训练集中的数据进行访问，并记录访问次数包括以下步骤：
5.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于得到的划分后的历史财务数据构建数据迁移模型包括以下步骤：
6.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于得到的划分后的历史财务数据，通过数据特征提取方式提取划分后的历史财务数据的特征数组包括以下步骤：
7
8.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述通过遗传算法对提取得到的特征数组与构建数据迁移模型进行迭代分析计算，确定数据迁移的基准包括以下步骤：
9.根据权利要求8所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于轮盘赌的方式选取所有个体中的优良个体包括以下步骤：
10.一种实现权利要求1-9任一项所述的基于大数据的财务数据迁移方法的系统，其特征在于，包括：数据采集模块、数据处理模块、数据划分模块、迁移模型构建模块、特征提取模块、迁移基准分析模块以及数据迁移模块；
...【技术特征摘要】
1.一种基于大数据的财务数据迁移方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述实时采集历史财务数据，并对采集到的历史财务数据进行处理，得到处理后的历史财务数据包括以下步骤：
3.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于得到的处理后的历史财务数据构建训练集，并通过数据访问监测的方式对训练集中处理后的历史财务数据进行划分，得到划分后的历史财务数据包括以下步骤：
4.根据权利要求3所述的一种基于大数据的财务数据迁移方法，其特征在于，所述通过数据访问监测的方式对训练集中的数据进行访问，并记录访问次数包括以下步骤：
5.根据权利要求1所述的一种基于大数据的财务数据迁移方法，其特征在于，所述基于得到的划分后的历史财务数据构建数据迁移模型包括以下步骤：
6.根据权利要求1所述的一种基于大数据的财务数据迁...
【专利技术属性】
技术研发人员：辛开宇，番学民，蔺以富，尹晓明，李应洲，
申请(专利权)人：云南云之贡科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。