System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于云计算的经营数据筛选方法和系统技术方案_技高网

一种基于云计算的经营数据筛选方法和系统技术方案

技术编号:40959781 阅读:23 留言:0更新日期:2024-04-18 20:37
本发明专利技术公开了一种基于云计算的经营数据筛选方法和系统,涉及数据处理技术领域,依据经营数据集合内数据的接收状态构建分布均匀度,若分布均匀度超过分布状态阈值,以生成的替代值对异常值进行替换,完成数据组的优化;根据数据状态系数与解密难度的对应性,对数据组进行加密;从预先构建的数据筛选知识图谱内匹配出对应的数据筛选方案,依据数据筛选方案,使用训练后数据筛选模型对各个数据组内的数据进行筛选;以分布集中度对筛选方案及对应的筛选后数据集合做出选择,并将所选择的筛选后数据集合输出。在接收数据分布不均匀不稳定的情况下,通过选择出较佳的数据筛选方案来提高数据筛选时的可靠性。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体为一种基于云计算的经营数据筛选方法和系统


技术介绍

1、云计算是并行计算、分布式计算和网格计算的发展,或者说是这些计算机科学概念的商业实现。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统,并借助 、 、 、等先进的商业模式把这强大的计算能力分布到终端用户手中。在企业规模较大,所输出经营数据规模较大时,就需要借助云计算进行处理。

2、在申请公布号为cn114662610a的中国专利技术专利中,公开了一种智能数据筛选方法,包括如下步骤:建立数据集,录入数据,根据数据产生时间标记数据。建立数据库;计算均值,根据现有数据计算均值,确定数据中心值;计算方差及标准差,以现有数据为基础,计算出方差,确定数据离散程度;录入新数据,建立临时数据标识;新数据与均值求差,获得并记录数据变动距离值,通过数据变动距离值与标准差进行比较,得到对比结果;根据对比结果判断新数据,进行分类,并将新数据录入数据集中,形成新数据集。本专利技术计算数据集均值、方差及标准差,得出数据离散程度,并对新产生的数据进行筛选,丰富数据处理的手段,提高数据治理效率。

3、在结合以上申请及现有技术后,若是经营数据的接收量分布非常不均匀,则在对数据进行筛选时,于每个时间节点上投入的筛选时间会差别较大,由于数据量存在较大的差别,如果是定期地对数据进行筛选,可能需不断地重新匹配不同的筛选方案,这就导致数据筛选的效率相对较低,而如果只以固定的数据筛选方案来对数据进行筛选,则筛选结果的可靠性风险较大,筛选结果和实际使用场景适应性不足。

4、为此,本专利技术提供了一种基于云计算的经营数据筛选方法和系统。


技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足,本专利技术提供了一种基于云计算的经营数据筛选方法和系统,通过依据经营数据集合内数据的接收状态构建分布均匀度,若分布均匀度超过分布状态阈值,以生成的替代值对异常值进行替换,完成数据组的优化;根据数据状态系数与解密难度的对应性,对数据组进行加密;从预先构建的数据筛选知识图谱内匹配出对应的数据筛选方案,依据数据筛选方案,使用训练后数据筛选模型对各个数据组内的数据进行筛选;以分布集中度对筛选方案及对应的筛选后数据集合做出选择,并将所选择的筛选后数据集合输出。在接收数据分布不均匀不稳定的情况下,通过选择出较佳的数据筛选方案来提高数据筛选时的可靠性,从而解决了
技术介绍
中提出的技术问题。

3、(二)技术方案

4、为实现以上目的,本专利技术通过以下技术方案予以实现:

5、一种基于云计算的经营数据筛选方法,包括,在接收周期内接收经营数据后,对经营数据归类并构建经营数据集合,依据经营数据集合内数据的接收状态构建分布均匀度,若分布均匀度超过分布状态阈值,向外部发出预警指令;其中,分布均匀度的构建方式如下:获取各个接收节点处的数据接收量,对数据接收量做无量纲处理后,其中:其中,,为接收节点的个数,权重系数:且;为第个接收节点处的数据接收量,为数据接收量的均值;

6、对经营数据集合内的数据组做清洗后,在清洗后的数据组内筛选出异常值,以生成的替代值对异常值进行替换,完成数据组的优化;

7、依据数据组内的数据状态构建数据状态集合,由数据状态集合构成数据状态系数,依据数据状态系数与解密难度的对应性,从加密方案库内为数据组匹配对应的加密方案,对数据组进行加密;

8、识别获取各个数据组的数据特征,依据数据组的数据特征与筛选方案间的对应性,从预先构建的数据筛选知识图谱内匹配出对应的数据筛选方案,依据数据筛选方案,使用训练后数据筛选模型对各个数据组内的数据进行筛选;

9、对筛选前后的数据组做相似度分析,并在获取相似距离的基础上获取分布集中度,以分布集中度对筛选方案及对应的筛选后数据集合做出选择,并将所选择的筛选后数据集合输出。

10、进一步的,对经营数据进行接收时设置数据的接收周期,在每个接收周期内设置若干个等间隔的接收节点,于接收节点处接收各类别的经营数据,以对应时间点对接收的数据进行标记;并对接收到的经营数据进行归类处理,汇总后构建经营数据集合。

11、进一步的,接收到预警指令后,依据对经营数据集合内的数据做归类后,获取若干个对应的数据组,依据数据接收节点将数据组内的数据沿着时间轴的延伸方向做排列,对排序后的数据组内的数据进行清洗,获取清洗后数据组;为各个数据组内的数据做归一化处理,构建常规阈值,若低质量数据组内的数据值不在常规阈值之内时,将其确定为异常值;

12、分别为数据组内的数据设置上限阈值及下限阈值,将异常值的位置在数据组内标记,使用替代值对异常值进行替换,完成对数据组的优化,依照如下方式生成替代值;其中,为数据组内数据的最大值,为数据组内的最小值。

13、进一步的,对各个数据组内的数据状态进行统计,获取数据组内数据的读取次数及储存时长,在汇总后构建数据状态集合;由数据状态集合构成数据状态系数;

14、预先收集若干个数据加密方案,汇总构建若干个加密方案库,依据数据状态系数与解密难度的对应性,为数据组匹配对应的加密方案;以匹配出的加密方案对数据组进行加密,并将加密后的数据组上传到所选择的云平台。

15、进一步的,数据状态系数的获取方式如下:对读取次数及储存时长做线性归一化处理,将相应的数据值映射至区间内,依照如下方式:

16、其中,为数据组内读取次数的预设标准值,为数据组内储存时长的预设标准值,,为数据组的个数,为第 i个数据组内数据的读取次数;为第 i个数据组内数据的储存时长;权重系数:,且。

17、进一步的,获取对应的解密密钥,于云平台上接收加密数据组后对其进行解密;对解密后的数据组进行特征识别,获取对应的数据特征;以经营数据筛选及其相关词作为目标词,构建数据筛选知识图谱的,依据数据组的数据特征与筛选方案间的对应性,从预先构建的数据筛选知识图谱内为各个数据组匹配出对应的数据筛选方案。

18、进一步的,以数据筛选方案作为输入,使用数据筛选模型对各个数据组内的数据进行筛选,获取筛选后的数据组,将其标记为筛选后数据组;对同一个筛选方案筛选后数据组进行归类汇总构建筛选后数据集合,并以筛选方案对筛选后数据集合进行标记。

19、进一步的,对筛选后数据集合内的各个数据组间作相似度分析,获取两个数据组间的相似度,将其与筛选前的相似度做比较,以两者间的差值作为相似度变动值,由筛选后数据集合内两个数据组间相似度变动值间差值作为相似距离;将相似距离做无量纲化处理,构建筛选后数据集合的分布集中度,以获取的分布集中度对相应的筛选方案进行标记。

20、进一步的,将分布集中度最高的筛选方案本文档来自技高网...

【技术保护点】

1.一种基于云计算的经营数据筛选方法,其特征在于:包括,

2.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

3.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

4.根据权利要求3所述的一种基于云计算的经营数据筛选方法,其特征在于:

5.根据权利要求4所述的一种基于云计算的经营数据筛选方法,其特征在于:

6.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

7.根据权利要求6所述的一种基于云计算的经营数据筛选方法,其特征在于:

8.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

9.根据权利要求8所述的一种基于云计算的经营数据筛选方法,其特征在于:

10.一种基于云计算的经营数据筛选系统,其特征在于:包括:

【技术特征摘要】

1.一种基于云计算的经营数据筛选方法,其特征在于:包括,

2.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

3.根据权利要求1所述的一种基于云计算的经营数据筛选方法,其特征在于:

4.根据权利要求3所述的一种基于云计算的经营数据筛选方法,其特征在于:

5.根据权利要求4所述的一种基于云计算的经营数据筛选方法,其特征在于:

...

【专利技术属性】
技术研发人员:齐立陈仕灼张文秀张锦芳
申请(专利权)人:顺通信息技术科技大连有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1