【技术实现步骤摘要】
所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本专利技术实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本专利技术实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本专利技术的不当限定。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利技术的范围。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/
技术介绍
1、重复数据删除也称为智能压缩或单一实例存储，是一种可自动搜索重复数据，将相同数据只保留唯一的一个副本，并使用指向单一副本的指针替换掉其他重复副本，以达到消除冗余数据、降低存储容量需求的存储技术。然而现有技术中，随着科学技术的发展，针对重复数据删除是存储领域的一个难题，特别是针对超大规模非线性矩阵进行存储时，如何能够有效的减少重复数据的产生以及降低数据存储的占用空间，是本领域技术人员急需解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种网管数据质量控制的方法及系统，本专利技术通过将待存储的大规模非线性矩阵进行最优解，并判断存储的大规模非线性矩阵是否为重复数据，在对非线性矩阵进行最优解后进行分类，并对重复数据进行判断后删除，能够有效地提升数据的存储效率，降低数据的存储占用空间。
2、为了实现上述目的，本专利技术提供了如下的技术方案：
3、一种网管数据质量控制的方法，包括：
4、将石油天然气管网的待存储的大规模非线性矩阵进行最优解，并判断存储的所述大规模非线性矩阵是否为重复数据，所述大规模非线性矩阵内包括若干个数据块；
5、基于第i-1数据块的后续相邻历史数据块判断第i数据块是否为重复数据块；其中，
6、i为大于1且小于等于n的整数，所述第i-1数据块为已通过网管数据质量控制的方法处理过的数据块；
7、根据若干已通过所述网管数据质量控制的方法处理过的数据块生成历史存储数据库；
8、当所述第i-1数据块的后续相邻历史数据块包括所述第i数据块中的内容时，确定所述第i数据块为重复数据，当所述第i-1数据块的后续相邻历史数据块不包括所述第i数据块中的内容时，继续基于所述历史存储数据库判断所述第i数据块是否为重复数据，并对重复数据进行删除，对不重复的数据进行存储。其中，
9、根据储存的数据通过机器学习优化所述大规模非线性矩阵的最优解求解过程，并将优化得到的所述最优解求解过程进行展示，以提高数据质量控制的效果。
10、在本申请的一些实施例中，将待存储的大规模非线性矩阵进行最优解，并判断存储的所述大规模非线性矩阵是否为重复数据，包括：
11、将所述大规模非线性矩阵进行归类，并生成无向图；
12、根据所述无向图，并通过图卷积网络gcn与nmf模型构建统一损失函数；
13、优化所述统一损失函数并得到局部最优解，根据所述局部最优解对所述大规模非线性矩阵的数据进行分类并存储；其中，
14、所述无向图为g＝(v,e)，其中v＝{v1,...,vn}，v为n个非线性矩阵的集合，e＝{eij|vi∈v∧vj∈v}，e表示为非线性矩阵之间连接边的集合，通过一个n×n的对称邻接矩阵a，a＝[aij]n×n，a表示为非线性矩阵的连接边信息，若eij∈e，则aij＝aji＝1，否则aij＝aji＝0。
15、在本申请的一些实施例中，还包括：
16、确定作为重复数据的数据块数量k，并根据所述数据块数量k输出重复等级；
17、预先设定有预设数据块数量矩阵t0，设定t0(t01,t02,t03,t04),其中，t01为第一预设数据块数量，t02为第二预设数据块数量，t03为第三预设数据块数量，t04为第四预设数据块数量，且t01＜t02＜t03＜t04；
18、预先设定有第一预设重复等级a1，第二预设重复等级a2，第三预设重复等级a3，第四预设重复等级a4，且a1＜a2＜a3＜a4；
19、根据k与所述预设数据块数量矩阵t0之间的关系选定相应的重复等级作为输出的重复等级；
20、当k＜t01时，选定所述第一预设重复等级a1作为输出的重复等级；
21、当t01≤k＜t02时，选定所述第二预设重复等级a2作为输出的重复等级；
22、当t02≤k＜t03时，选定所述第三预设重复等级a3作为输出的重复等级；
23、当t03≤k＜t04时，选定所述第四预设重复等级a4作为输出的重复等级。
24、在本申请的一些实施例中，还包括：
25、获取所述大规模非线性矩阵中的数据块总数p，并根据所述大规模非线性矩阵中的数据块总数p对输出的重复等级进行修正；
26、预先设定有预设数据块总数矩阵r0，设定r0(r01,r02,r03,r04),其中，r01为第一预设数据块总数，r02为第二预设数据块总数，r03为第三预设数据块总数，且r01＜r02＜r03；
27、根据p与所述预设数据块总数矩阵r0之间的关系选定对输出的各预设重复等级进行修正；
28、当p＜r01时，对各预设重复等级进行调升三级处理，且调升后的预设重复等级不超过所述第四预设重复等级a4，所述第一预设重复等级a1调升后为所述第四预设重复等级a4；
29、当r01≤p＜r02，对各预设本文档来自技高网...
【技术保护点】
1.一种网管数据质量控制的方法，其特征在于，包括：
2.根据权利要求1所述的一种网管数据质量控制的方法，其特征在于，将待存储的大规模非线性矩阵进行最优解，并判断存储的所述大规模非线性矩阵是否为重复数据，包括：
3.根据权利要求1所述的一种网管数据质量控制的方法，其特征在于，还包括：
4.根据权利要求3所述的一种网管数据质量控制的方法，其特征在于，还包括：
5.根据权利要求4所述的一种网管数据质量控制的方法，其特征在于，还包括：
6.一种网管数据质量控制的系统，其特征在于，包括：
7.根据权利要求6所述的一种网管数据质量控制的系统，其特征在于，
8.根据权利要求6所述的一种网管数据质量控制的系统，其特征在于，还包括：
9.根据权利要求8所述的一种网管数据质量控制的系统，其特征在于，
10.根据权利要求9所述的一种网管数据质量控制的系统，其特征在于，还包括：
【技术特征摘要】
1.一种网管数据质量控制的方法，其特征在于，包括：
2.根据权利要求1所述的一种网管数据质量控制的方法，其特征在于，将待存储的大规模非线性矩阵进行最优解，并判断存储的所述大规模非线性矩阵是否为重复数据，包括：
3.根据权利要求1所述的一种网管数据质量控制的方法，其特征在于，还包括：
4.根据权利要求3所述的一种网管数据质量控制的方法，其特征在于，还包括：
5.根据权利要求4所述的一种网...
【专利技术属性】
技术研发人员：张对红，陈朋超，杨毅，徐波，侯本权，康阳，薛向东，阎涛，刘天尧，朱峰，王雪莉，
申请(专利权)人：国家石油天然气管网集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。