一种基于大数据的数据辅助分析管理系统及方法技术方案

本发明专利技术涉及数据库管理技术领域，具体为一种基于大数据的数据辅助分析管理系统及方法，包括分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取对满足数据更新逻辑关联的历史数据存储路径进行判断识别；对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。介入对目标数据库内数据的有序性存储管理。介入对目标数据库内数据的有序性存储管理。

【技术实现步骤摘要】
一种基于大数据的数据辅助分析管理系统及方法


[0001]本专利技术涉及数据库管理
，具体为一种基于大数据的数据辅助分析管理系统及方法。

技术介绍

[0002]数据库是“按照数据结构来组织、存储和管理数据的仓库”，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合；数据库的数据源层是指数据的最初来源，可以是各种业务系统、传感器、社交媒体等，在数据库的数据集成层中，会将来自不同数据源的数据进行集成和整合，形成一个统一的数据集。
[0003]数据库内的数据更新是以新数据项或记录、替换数据文件或数据库中与之相对应的旧数据项或记录的过程，通过删除、修改、再插入的操作来实现；对数据库内的数据更新实现有序性管理，在一定程度上能提高数据库的数据存储效率和准确率。

技术实现思路

[0004]本专利技术的目的在于提供一种基于大数据的数据辅助分析管理系统及方法，以解决上述
技术介绍
中提出的问题。
[0005]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的数据辅助分析管理方法，方法包括：步骤S100：从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；数据来源终端包括业务系统、传感器；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；步骤S200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；步骤S300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；步骤S400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；步骤S500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。
[0006]进一步的，步骤S100包括：
步骤S101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集A，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集B；当某数据存储区域满足，判断某数据存储区域属于在任意历史数据存储记录中，由相应目标存储数据在目标数据库中引起的更新范围；分别对各更新范围所对应的数据集A与数据集B进行偏差比对；步骤S102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，其中，表示数据集A与数据集C组成数据集B；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第一类数据更新形式；即在某数据存储区域u中发生的数据更新形式为简单新增数据，对数据集A只做数据量的增加变动，不发生数据替换；步骤S103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第二类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集A不做数据量的变动，将数据集A内的部分数据进行数据替换；步骤S104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集B与数据集A之间满足：，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第三类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集A不做数据量的变动，将数据集A内的全部数据进行数据替换。
[0007]进一步的，步骤S200包括：步骤S201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端DTE；分别获取在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围；步骤S202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围R
j
为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于某历史数据存储记录的第j条历史数据存储路径；其中，表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，；分别构建每一条历史数据存储记录在目标数据库中引起的每一个更新范围所对应的历史数据存储路径。
[0008]进一步的，步骤S400包括：步骤S401：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，将数据来源终端DTE相同的历史数据存储路径进行分别汇集，得到对应各数据来源终端DTE
的历史数据存储路径集合；将数据来源终端DTE、更新范围所对应的数据存储区域以及在更新范围所对应的数据存储区域内发生的数据更新形式完成相同的历史数据存储路径视为同一种历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；步骤S402：设在某数据来源终端DTE1的特征历史数据存储路径集合中存在某历史数据存储路径，在某数据来源终端DTE2的特征历史数据存储路径集合中存在某历史数据存储路径；当，且，或者当，且时，判断某历史数据存储路径L1与某历史数据存储路径L2之间存在数据更新逻辑关联。
[0009]进一步的，步骤S500包括：步骤S501：将当前同时向目标数据库输送数据的数据来源终端设为目标终端；分别对每两个目标数据终端p1、p2的特征历史数据存储路径集合Q(p1)、Q(p2)进行提取；分别对每两个目标数据终端计算逻辑风险值；其中，n表示在Q(p1)中，与Q(p2)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；N表示Q(p1)包含历史数据存储路径的总数；m表示在Q(p2)中，与Q(p1)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；M表示Q(p2)包含历史数据存储路径的总数；步骤S502：当某两个目标数据终端之间的逻辑风险值α大于风险阈值，反馈管理人员端口，辅助管理人员介入对来自某两个目标数据终端向目标数据库所输送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据辅助分析管理方法，其特征在于，所述方法包括：步骤S100：从目标数据库的历史运行日志中捕捉构成所述目标数据库数据源层的各数据来源终端；从所述历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；步骤S200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；步骤S300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端DTE相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端DTE的特征历史数据存储路径集合；步骤S400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；步骤S500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。2.根据权利要求1所述的一种基于大数据的数据辅助分析管理方法，其特征在于，所述步骤S100包括：步骤S101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集A，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集B；当某数据存储区域满足，判断所述某数据存储区域属于在所述任意历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的更新范围；分别对各更新范围所对应的数据集A与数据集B进行偏差比对；步骤S102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：，其中，表示数据集A与数据集C组成数据集B；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第一类数据更新形式；步骤S103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第二类数据更新形式；步骤S104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在所述某历史数据存储记录中，于对应所述某数据存储区域u的数据集B与数据集A之间满足：，且，其中，Card(B)表示数据集B包含的数据总数，Card(A)表示数据集A包含的数据总数；判定在所述某历史数据存储记录中，相应目标存储数据在所述某数据存储区域u内发生的数据更新形式为第三类数据更新形式。
3.根据权利要求2所述的一种基于大数据的数据辅助分析管理方法，其特征在于，所述步骤S200包括：步骤S201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端DTE；分别获取在每一条历史数据存储记录中，由相应目标存储数据在所述目标数据库中引起的每一个更新范围；步骤S202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围R
j
为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于所述某历史数据存储记录的第j条历史数据存储路；其中，表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，；分别构建每一条历史数据存储记录在所述目标数据库中引起的每一个更新范围所对应的历史数据存储路径。4.根据权利要求3所述的一种基于大数据的数据辅助分析管理方法，其特征在于，所述步骤S400包括：步骤S401：获取根据所有历史数据存储记录构建得到的所有历史数据...

【专利技术属性】
技术研发人员：苏毓腾，刘妃妃，龙文武，张乐志，郑李梨，冯钊，骆斐，赵欢，李成翰，张伟森，赖泽彪，杨秋发，谢美玲，黄慧嫦，
申请(专利权)人：深圳市前海数据服务有限公司，
类型：发明
国别省市：