基于模块化的数据再分析处理系统及方法技术方案

本发明专利技术公开了基于模块化的数据再分析处理系统及方法，属于数据处理技术领域。本发明专利技术包括以下步骤：步骤一：将采集数据拆分为动态数据和静态数据；步骤二：分析静态数据动态化的主要因素和次要因素；步骤三：对主要因素和次要因素之间的关联度进行预测；步骤四：基于关联度预测结果对动态数据进行分析处理，本发明专利技术利用动态数据和静态数据构建线性方程，通过方程斜率对静态数据动态化的主要因素和次要因素进行分析，将数据产生的误差通过次要因素进行表示，无需对误差进行校正处理，进一步提高了数据处理效率，利用预测模型对动态线性方程斜率发生变化是否存在多因素进行分析，进而对数据做到全面分析，进一步提高了数据分析精度。度。度。

Data reanalysis processing system and method based on Modularization

【技术实现步骤摘要】
基于模块化的数据再分析处理系统及方法


[0001]本专利技术涉及数据处理
，具体为基于模块化的数据再分析处理系统及方法。

技术介绍

[0002]大数据分析是指对规模巨大的数据进行分析，大数据具有数据量大、速度快、类型多、价值高、真实性强等特点，数据分析有利于从大数据中挖掘出符合自身价值的有效信息，但在数据分析过程中由于数据量大，导致数据有效信息提取量较低。
[0003]现有的数据分析处理系统在对数据进行分析时，通常将采集数据进行汇总处理分析，由于数据存在误差，导致汇总后的数据误差增大，数据分析前需对误差进行校正处理，降低了数据处理效率，以及在对数据进行分析时无法对数据做到全面分析，导致分析结果与实际结果存在一定差异，降低了数据分析精度，以及现有的数据分析处理系统在短时间内无法向使用者提供有效的数据分析信息，系统无法满足在紧急情况下的需求，降低了系统的使用效果。

技术实现思路

[0004]本专利技术的目的在于提供基于模块化的数据再分析处理系统及方法，以解决上述
技术介绍
中提出的问题。
[0005]为了解决上述技术问题，本专利技术提供如下技术方案：基于模块化的数据再分析处理方法，所述方法包括以下步骤：
[0006]步骤一：将采集数据拆分为动态数据和静态数据；
[0007]步骤二：分析静态数据动态化的主要因素和次要因素；
[0008]步骤三：对主要因素和次要因素之间的关联度进行预测；
[0009]步骤四：基于关联度预测结果对动态数据进行分析处理。
[0010]进一步的，所述步骤一中将采集数据拆分为动态数据和静态数据的具体方法为：
[0011]1)对目标数据进行采集，并对目标数据分析维度进行确定；
[0012]2)基于目标数据分析维度将采集数据拆分为动态数据和静态数据，动态数据指目标数据在对应分析维度上未按照预测趋势变化，静态数据指目标数据在对应分析维度上按照预测趋势变化；
[0013]3)对动态数据进行提取，并通过数据库获取动态数据在提取位置对应匹配的静态数据。
[0014]进一步的，所述步骤二中分析静态数据动态化的主要因素和次要因素的具体方法为：
[0015]基于获取的静态数据和动态数据，对静态数据动态化的主要因素和次要因素进行分析，具体方法为：
[0016]①
.根据获取的动态数据和静态数据构建预测模型，基于预测模型对静态数据动
态化的多元性进行预测：
[0017]I.基于目标数据分析维度，将静态数据和动态数据分别通过线性方程进行表示，对静态线性方程和动态线性方程走向进行分析,并对动态线性方程走向与静态线性方程走向相反位置的动态线性方程斜率进行获取，将获取的动态线性方程斜率放入集合M中，则M＝{k1,k2,
…
,k
n
}，根据集合M中动态线性方程斜率总数初步预测导致静态数据动态化的多元数量，其中，n＝1,2,3
…
，表示获取的线性方程斜率数量，k
n
表示获取的第n个动态线性方程斜率；
[0018]II.将动态线性方程与静态线性方程走向相同部分的斜率进行对比，对斜率不相同线性部分对应的动态线性方程斜率进行获取，将获取的斜率放入集合N中，则N＝{h1,h2,
…
,h
m
}，根据集合N中动态线性方程斜率总数对初步预测的静态数据动态化的多元数量进行调整，其中，m＝1,2,3
…
，表示获取的斜率数量，h
m
表示获取的第m个动态线性方程斜率；
[0019]静态数据动态化的多元数量表示导致静态数据动态化的影响因素数量；
[0020]III.利用预测模型对调整后的静态数据动态化的多元数量进行确定，预测模型G的具体公式为：
[0021][0022]G
n
＝h
′
*(α1·
β1+
…
+α
g
·
β
g
)
‑
h
n
；
[0023][0024]其中，表示第m动态线性方程斜率对应的前一段动态线性方程斜率，g＝1,2,3
…
，表示静态数据动态化影响因素类型对应的标号，β表示标准状态下静态数据动态化影响因素类型对应的影响值，α
g
表示在对应环境参数下β
g
值的调整系数，h
′
表示静态线性方程对应的斜率，令G
m
＝0或G
n
＝0，根据β
g
≠0的个数确定在对应动态线性方程斜率下对应的静态数据动态化的多元数量；
[0025]②
.基于
①
中预测结果，对单因素对静态数据动态化的影响程度进行计算，根据计算结果对静态数据动态化的主要因素和次要因素进行区分，具体的计算公式S为：
[0026][0027]其中，d＝1,2,3,
…
,n+m，表示动态线性方程分段部分对应的标号，w
d
表示动态线性方程第d段对应的斜率值，w
d+1
表示动态线性方程第d+1段对应的斜率值，w
d+1
‑
w
d
表示对动态线性方程第d+1段与第d段对应的斜率差值进行计算，α
g
·
β
g
表示第g种影响因素占动态线性方程第d+1段与第d段对应的斜率差值的比值，S
g
表示第g种影响因素对静态数据动态化的影响程度；
[0028]对求解的S
g
值按照数值大小进行排序，根据排序结果对静态数据动态化的主要因素和次要因素进行判断，当影响因素对静态数据动态化的影响程度大于数值Q时，判断为主要因素，反之，则判断为次要因素，其中，Q为任意值。
[0029]进一步的，所述步骤三中对主要因素和次要因素之间的关联度进行预测，具体的
预测方法为：
[0030]Step1：根据步骤二中静态数据动态化的主要因素和次要因素判断结果，对主要因素和次要因素共同出现的次数进行统计；
[0031]Step2：基于主要因素出现的次数，对主要因素和次要因素共同出现的概率进行计算，并在概率计算结果高于X时，对主要因素和次要因素进行共同标记，其中，
[0032]Step3：根据主要因素和次要因素共同标记结果，在数据库中对同一环境下标准静态数据经共同标记的主要因素和次要因素处理后的数据进行获取，获取多个数据后，利用线性回归对多个数据进行处理，根据线性回归系数对共同标记的主要因素和次要因素之间的关联度进行表示。
[0033]进一步的，所述步骤四中基于关联度预测结果对动态数据进行分析处理，具体方法为：
[0034]根据判断的主要因素将动态数据初步还原成静态数据，将还原后的静态数据与标准静态数据之间的差值进行计算，根据计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模块化的数据再分析处理方法，其特征在于：所述方法包括以下步骤：步骤一：将采集数据拆分为动态数据和静态数据；步骤二：分析静态数据动态化的主要因素和次要因素；步骤三：对主要因素和次要因素之间的关联度进行预测；步骤四：基于关联度预测结果对动态数据进行分析处理。2.根据权利要求1所述的基于模块化的数据再分析处理方法，其特征在于：所述步骤一中将采集数据拆分为动态数据和静态数据的具体方法为：1)对目标数据进行采集，并对目标数据分析维度进行确定；2)基于目标数据分析维度将采集数据拆分为动态数据和静态数据，动态数据指目标数据在对应分析维度上未按照预测趋势变化，静态数据指目标数据在对应分析维度上按照预测趋势变化；3)对动态数据进行提取，并通过数据库获取动态数据在提取位置对应匹配的静态数据。3.根据权利要求2所述的基于模块化的数据再分析处理方法，其特征在于：所述步骤二中分析静态数据动态化的主要因素和次要因素的具体方法为：基于获取的静态数据和动态数据，对静态数据动态化的主要因素和次要因素进行分析，具体方法为：
①
.根据获取的动态数据和静态数据构建预测模型，基于预测模型对静态数据动态化的多元性进行预测：Ⅰ.基于目标数据分析维度，将静态数据和动态数据分别通过线性方程进行表示，对静态线性方程和动态线性方程走向进行分析,并对动态线性方程走向与静态线性方程走向相反位置的动态线性方程斜率进行获取，将获取的动态线性方程斜率放入集合M中，则M＝{k1,k2,
…
,k
n
}，根据集合M中动态线性方程斜率总数初步预测导致静态数据动态化的多元数量，其中，n＝1,2,3
…
，表示获取的线性方程斜率数量，k
n
表示获取的第n个动态线性方程斜率；Ⅱ.将动态线性方程与静态线性方程走向相同部分的斜率进行对比，对斜率不相同线性部分对应的动态线性方程斜率进行获取，将获取的斜率放入集合N中，则N＝{h1,h2,
…
,h
m
}，根据集合N中动态线性方程斜率总数对初步预测的静态数据动态化的多元数量进行调整，其中，m＝1,2,3
…
，表示获取的斜率数量，h
m
表示获取的第m个动态线性方程斜率；Ⅲ.利用预测模型对调整后的静态数据动态化的多元数量进行确定，预测模型G的具体公式为：G
n
＝h
′
*(α1·
β1+
…
+α
g
·
β
g
)
‑
h
n
；其中，表示第m动态线性方程斜率对应的前一段动态线性方程斜率，g＝1,2,3
…
，表示静态数据动态化影响因素类型对应的标号，β表示标准状态下静态数据动态化影响因素类型对应的影响值，α
g
表示在对应环境参数下β
g
值的调整系数，h
′
表示静态线性方程对应的
斜率，令G
m
＝0或G
n
＝0，根据β
g
≠0的个数确定在对应动态线性方程斜率下对应的静态数据动态化的多元数量；
②
.基于
①
中预测结果，对单因素对静态数据动态化的影响程度进行计算，根据计算结果对静态数据动态化的主要因素和次要因素进行区分，具体的计算公式S为：其中，d＝1,2,3,
…
,n+m，表示动态线性方程分段部分对应的标号，w
d
表示动态线性方程第d段对应的斜率值，w
d+1
表示动态线性方程第d+1段对应的斜率值，w
d+1
‑
w
d
表示对动态线性方程第d+1段与第d段对应的斜率差值进行计算，α
g
·
β
g
表示第g种影响因素占动态线性方程第d+1段与第d段对应的斜率差值的比值，S
g
表示第g种影响因素对静态数据动态化的影响程度；对求解的S
g
值按照数值大小进行排序，根据排序结果对静态数据动态化的主要因素和次要因素进行判断，当影响因素对静态数据动态化的影响程度大于数值Q时，判断为主要因素，反之，则判断为次要因素，其中，Q为任意值。4.根据权利要求3所述的基于模块化的数据再分析处理方法，其特征在于：所述步骤三中对主要因素和次要因素之间的关联度进行预测，具体的预测方法为：Step1：根据步骤二中静态数据动态化的主要因素和次要因素判断结果，对主要因素和次要因素共同出现的次数进行统计；Step2：基于主要因素出现的次数，对主要因素和次要因素共同出现的概率进行计算，并在概率计算结果高于X时，对主要因素和次要因素进行共同标记，其中，Step3：根据主要因素和次要因素共同标记结果，在数据库中对同一环境下标准静态数据经共同标记的主要因素和次要因素处理后的数据进行获取，获取多个数据后，利用...

【专利技术属性】
技术研发人员：刘智勇，段海宁，洪超，
申请(专利权)人：珠海市鸿瑞信息技术股份有限公司，
类型：发明
国别省市：